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在 数据 的 江湖 里 ， 既 有 波澜 壮阔 的 大 数据 (Big Data) ， 也 有 微 
波 涟 满 的 小 数据 (Small Data) ， 二 者 相辅相成 ， 才 能 相映 生 辉 。 目 前 
大 数据 流行 ， 人 们 束 言 必 称 大 数据 ， 这 不 是 做 学 问 的 态度 ， 不 要 碰 到 
大 量 的 数据 ， 就 给 它 戴 上 一 顶 “ 大 数据 ”的 帆 子 。 大 数据 体现 出 规律 ， 
小 数据 一 舍 着 智 达 ， 它 们 都 闪烁 着 理想 之 光 。 

古人 云 :“ 革 人 见 微 知 着 ， 睹 始 知 终 。” 道 家 的 一 部 重要 闭 作 《 淮 
南 子 :说 山 训 》 中 说 :“ 以 小 明 大 ， 见 一 叶 落 而 知 岁 之 将 着 ， 睹 瓶 中 之 
水 而 知 天 下 之 寒 。” 意 思 是 说 ， 看 见 一 片 落 叶 ， 就 知道 秋天 来 临 ， 看 到 
短 中 水 结 冰 ， 玖 知道 天 气 的 寒冷 程度 ， 这 是 对 见 微 知 闭 的 形象 比喻 。 

吴 甘 沙 完 生 用 《一 代 宗 师 》 的 台词 来 比拟 大 、 小 数据 的 区 分 ， 倒 
也 甚 是 恰当 。 他 说 ， 小 数据 “ 见 微 >， 作 个 人 刻画 ， 可 用 《一 代 宗 师 》 
中 “ 见 目 己 ” 形 容 之 ;而 大 数据 “ 知 著 ”， 反 映 上 自然 和 群体 的 特征 和 趋 
势 ， 可 用 《一 代 宗 师 》 中 的 “ 见 天 地 、 见 众生 ?比喻 之 。 

大 残 是 大 数据 ， 束 是 全 量 数据 ;小 束 是 小 数据 ， 束 是 个 体 数据 。 
所 以 ， 对 于 数据 科学 ， 我 们 必须 在 把 情况 搞 清 楚 的 基础 上 懂得 哪些 是 
大 、 哪 些 是 小 ， 知 道 坚 样 处 理 大 小 办 证 关系 ， 才 能 在 具体 数据 应 用 中 
做 到 抓 大 放 小 、 以 大 兼 小 ， 以 小 市 大 、 小 中 见 大 。 在 研究 小 数据 时 ， 
要 以 大 兼 小 、 以 小 见 大 ， 必 须 考虑 目标 的 正确 性 、 可 操作 性 和 决策 的 
科学 性 、 可 行 性 。 在 研究 大 数据 时 ， 要 抓 大 放 小 、 以 小 带 大 ， 既 要 考 
虑 整体 共性 ， 又 要 注重 个 体 特 征 。 这 样 ， 在 数据 应 用 中 ， 大 能 与 小 数 
据 量 化 的 目 我 保持 高 度 一 致 ， 小 能 与 大 数据 预见 的 未 来 保持 一 致 ， 既 
不 能 见 小 不 见 大 ， 也 不 能 见 大 不 见 小 。 对 于 数据 科学 ， 从 数据 中 来 ， 


到 数据 中 去 ， 既 要 见 大 ， 也 要 见 小 ， 以 小 市 大 、 小 中 见 大 ， 才 能 真正 
用 好 数据 。 

当 认 知 科学 领域 发 生 “ 天 翻 地 窗 ” 的 变化 时 ， 我 们 的 未 来 义 会 是 怎 
样 ? 认 知 早 命 ， 竺 别 是 “真相 时 代 ” 的 到 来 , “预测 ?将 被 < 预见 ?取代 ， 
那么 , “预见 未 来 "将 不 再 是 遥远 的 星辰 。 如 有 果 认 知 科 学 的 本 质 是 计算 
科学 ， 那 么 ,“ 大 数据 "和 ?人 小 数据 ”争夺 所 请“ 大 小 ”的 “ 江 调 地 位 ”意义 何 
在 ”但 我 们 需要 觉悟 的 是 : 此 “数据 ” 非 彼 “数据 *。 面向 未 来 ,“ 大 数 
据 * 和 “小 数据 ”将 开启 一 个 “全 新 故事 ”"， 一 个 “预见 未 来 ”的 故事 。 


中 央 财 经 大 学 保险 学 院 院 长 李 晓 林 
2018 年 3 月 于 北京 


用 呈 


“ 忽 如 一 夜 春 风 来 ， 千 树 万 树 梨 花 开 。” 似 乎 在 一 夜 之 间 ， 大 数据 
束 红 授 了 南北 半球 ， 在 神州 大 地 更 是 一 时 风头 无 二 。 与 此 同时 ， 大 数 
据 也 被 神化 得 无 处 不 在 ， 无 所 不 包 ， 无 所 不 能 。 这 里 面 有 认识 上 的 原 
因 ， 也 有 跟风 的 成 分 。 我 们 以 为 ， 越 是 在 热 得 发 沟 的 时 候 ， 越 是 需要 
有 人 在 旁边 吹 吹 冷 风 。 在 这 里 谈 谈 小 数据 的 重要 性 、 预 测 态 、 未 来 
式 ， 并 非 要 否定 大 数据 的 价值 。 相 反 ， 只 有 我 们 充分 认识 了 小 数据 的 
特点 和 应 用 ， 才 能 更 好 地 利用 大 数据 ， 才 能 通过 小 数据 和 大 数据 的 互 
外 ,更 好 地 展现 数据 之 美 、 数 据 之 道 、 数 据 之 鬼 、 数 据 之 匮 。 


数据 本 无 大 小 ， 但 应 用 场合 、 处 理 方式 的 不 同 却 分 出 大 小 。 数 据 
表示 的 是 过 去 ， 但 表达 的 是 未 来 ， 所 以 应 用 数据 不 仅 需要 全 量 数据 ， 
也 需要 样本 数据 ， 不 仅 要 了 解 相关 性 ， 更 要 明白 因果 关系 ， 不 仅 要 巴 
见 未 来 ， 更 要 量化 自我 。 这 就 迫使 我 们 从 更 广泛 的 角度 理解 小 数据 ， 
常理 小 数据 与 大 数据 的 分 野 ， 从 而 将 相关 思路 投射 、 印 证 于 小 数据 ， 
考察 其 核心 特点 和 应 用 特质 。 除 传统 统计 学 以 外 ， 人 工 智能 、 复 杂 系 
统 等 技术 的 发 展 ， 小 数据 也 能 学 习 ， 小 数据 也 能 复杂 化 ， 小 数据 远 比 
我 们 想象 的 要 强大 。 这 本 书 主要 通过 一 些小 案例 来 理解 小 数据 之 美 
如 中 医 的 “ 望 闻 问 切 ”、 保 险 的 "大 数 法 则 ”、 军事 的 “战略 与 战术 ”、 信 
用 的 “能 力 与 意愿 "、 生 态 的 “小 环境 与 大 环境 "、 企 业 的 “账面 与 实 
际 *、 教 育 的 “应 试 教育 与 素质 教育 "等 ， 进 而 扬 示 数据 的 局 面 变化 、 光 
名 更 新 、 未 来 演进 。 

传统 思想 要 求 我 们 “知己 知 彼 ， 百 战 不 歼 “ 运 筹 帷 幅 ， 决 胜 千 
里 … 抽 丝 剥 莫 ， 明 察 秋 毫 *， 互 联网 思维 要 求 我 们 “精简 “取舍 “ 极 
致 “ 专 注 *"， 侦 尔 也 思考 “ 黑 天 物 “ 灰 犀牛 "， 但 大 多 数 时 间 都 沉陷 于 “大 


数据 ?和 “大 数据 时 代 ”。 我 们 迫切 需要 一 点 痢 的 思路 、 新 的 视角 ， 我 们 
需要 更 系统 、 更 强大 的 小 数据 ， 我 们 需要 更 全 面 地 理解 小 数据 。 重 新 
审视 我 们 的 时 代 。 人 小 数据 ， 尽 管 仍 觉 章 在 迷 雪 中 ， 但 已 经 开始 在 我 们 
脑海 中 浮现 出 其 整体 的 轮廓 ， 这 就 古 我 们 选择 写 《 小 数据 之 美 》 的 初 
囊 ， 也 是 我 们 选择 写 《 小 数据 之 美 》 的 本 义 。 

本 书 由 陈 辉 编著 ， 中 央 财 经 大 学 硕士 研究 生 李 明子 、 李 冰 ， 招 商 
银行 易 斯 琪 ， 央 财 国际 研究 院 特约 研究 员 庞 博 参 与 了 本 书 主 要 草 刘 的 
质料 整理 ， 由 陈 辉 统一 修改 定稿 。 


本 书 在 编写 过 程 中 ， 参 考 了 国际 国内 的 相关 著作 、 论 文 、 报 告 和 
案例 ， 中 央 财 经 大 学 中 国 精算 人 研究 院 的 多 位 专家 学 者 提出 了 许多 有 益 
的 修改 意见 ， 在 此 一 并 表示 感谢 。 由 于 时 间 紧 迫 和 编者 水 平 有 限 ， 书 
中 芷 漏 、 错 误 之 处 在 所 难免 ， 和 敬 请 读者 批评 指正 。 


中 央 财 经 大 学 中 国 精算 研究 院 陈 辉 博士 
2018 年 3 月 于 北京 


一 、 小 数据 之 赔 变 


(一 ) 小 数据 的 成 长 之 路 


在 过 去 的 几 个 世纪 里 ， 以 抽样 数据 为 特征 的 小 数据 研究 使 目 然 科 
学 、 社 会 科学 和 人 文科 学 的 发 展 取得 了 跨越 式 的 进展 。 小 数据 的 成 长 
过 程 可 以 分 为 两 大 阶段 ， 数 据 的 产生 与 科学 数据 的 形成 。 在 此 基础 
上 ， 大 数据 悄然 诞生 。 


数据 起 源 于 古人 对 事物 的 “多 ?或 “ 少 ” 的 认识 。 从 中 国 古 代 的 结 绳 
记事 、 苏 美 尔 人 的 串珠 计数 ， 到 十 埃及 的 十 进 制 象形 文 数字 、 上 古巴 比 
伦 的 六 十 进 制 数字 ， 再 到 中 国 商 朝 的 甲骨 文 数字 、 唐 代 的 汉字 数字 ， 
最 终 到 后 来 的 罗马 数字 、 阿 拉 伯 数字 ， 逐 步 实 现 了 数 的 抽象 性 和 可 计 
算 性 。 而 量 赋予 了 事物 的 测度 和 比较 标准 的 语言 ， 它 是 能 体现 事物 内 
在 本 质 特征 以 及 事物 之 间 差 异 程度 的 一 种 载体 ， 包 括 量 的 规模 、 关 
系 、 变 化 、 界 限 与 规律 。 从 数 到 数据 的 发 展 过 程 ， 客 观 反 映 了 人 类 认 
识 事 物 本 质 属 性 的 必然 过 程 。 如 果 说 抽象 的 数 的 分 析 产 生 了 数学 ， 那 
么 有 计量 单位 的 数据 分 析 则 产生 了 统计 学 。 相 应 地 ， 统 计 学 中 所 使 用 
的 融 是 传统 意义 上 的 小 数据 。 


随 着 对 数据 需求 的 增加 ， 以 及 收集 与 运用 数据 经 验 的 不 断 积 素 ， 
人 们 在 科学 人 研究 的 过 程 中 逐渐 形成 了 能 够 科学 使 用 的 小 数据 一 一 科学 
数据 。 科 学 数据 是 人 们 用 以 探求 现象 变化 规律 或 验证 已 有 理论 假设 的 
数据 ， 数 据 收 集 的 方式 主要 有 是 观察 、 测 量 和 实验 。 科 学 数据 的 特点 是 
科学 设计 、 可 重复 获得 、 相 对 精确 和 具有 共享 性 ， 它 不 仅 所 高 了 人 类 
认识 事物 的 精确 性 ， 而 且 逐 步 形成 的 数学 化 思维 与 方程 表达 式 使 人 类 
解决 了 不 同 物理 量 之 间 的 数值 天 系 表达 问题 ， 从 而 为 人 类 开展 相关 事 


物 之 间 的 定量 研究 提供 了 途径 。 目 然 哲学 家 开 普 勒 通过 对 第 谷 天 文 观 
察 数 据 的 使 用 ， 推 导出 了 行星 运动 三 大 定律 伽利略 通过 对 地 球 表面 
物体 运动 数据 的 测量 ， 发 现 了 目 由 落体 运动 规律 ， 牛 顿 利用 大 量 的 天 
文 观察 数据 和 实验 测量 数据 ， 创 立 了 牛顿 力学 体系 。 

当然 ， 在 目 然 科 学 对 数据 进行 科学 研究 的 同时 ， 社 会 科学 也 同样 
对 数据 进行 了 科学 范式 的 研究 ， 并 发 现 了 如 平均 人 、 恩 格 尔 系 数 、 基 
尼 系 数 、 经 济 周期 等 定律 。 


(二 ) 小 数据 2.0 的 诞生 


传统 意义 上 的 小 数据 因 其 数据 体 量 的 罕 小 、 抽 样 采 集 方 式 的 传统 
而 得 名 ， 其 实质 是 通过 目前 主流 统计 工具 在 合理 时 间 内 采集 、 存 储 、 
处 理 的 数据 集 。 经 典 的 数理 统计 和 数据 挖掘 知识 ， 可 以 较 好 地 解决 这 
类 问题 。 而 大 数据 时 代 下 的 小 数据 ， 是 一 类 新 兴 的 数据 ， 它 是 指 需要 
新 的 应 用 方式 才能 体现 出 具有 高 价值 的 、 个 体 的 、 高 效率 的 、 个 性 化 
的 信息 资产 。 


小 数据 2.0 下 的 定义 并 不 是 指数 据 量 小 ， 而 是 围绕 个 体 的 全 方位 数 
据 及 其 配套 的 收集 、 处 理 、 分 析 和 对 外 交互 的 综合 系统 。 个 体 产生 的 
数据 ， 包 括 生 活 习 惯 、 社 交行 为 、 财 务 状 况 等 ， 全 部 被 各 种 智能 设备 
或 传 感 咒 收集 和 利用 并 进行 分 析 ， 并 对 外 形成 一 个 富有 个 人 色彩 的 数 
据 系 统 。 小 数据 范畴 下 的 个 体 ， 不 仅仅 包括 目 然 人 个 体 ， 还 包括 一 切 
具有 完整 内 部 环境 的 个 体 ， 如 家 庭 、 企 业 、 学 校 、 医 院 、 生 态 环境 
等 。 通 俗 来 讲 ， 以 我 们 每 个 人 为 例 ， 小 数据 能 够 观察 个 体 行为 如 发 送 
电子 邮件 、 短 信 或 推 敌 ， 购 物 或 锥 炼 ， 步 行 上 班 还 是 乘 车 上 班 ， 在 家 
看 电视 剧 还 是 看 电影 ， 或 者 在 跟 Amazon Echo 《亚马逊 公司 研制 的 一 
款 智 能 音箱 ) 对 话 等 。 这 些 痕 迹 反 映 了 我 们 是 谁 、 在 哪 、 和 谁 、 做 什 
么 。 通 过 数据 整合 ， 以 可 视 化 的 方式 让 你 能 够 更 了 解 你 目 己 。 


因此 ， 小 数据 又 被 称 为 “量化 的 目 我 ”， 目 的 与 大 数据 相同 ， 提 供 
个 体 决 策 的 依据 。 虽 然 小 数据 迄今 为 止 的 应 用 还 十 分 商 单 ， 但 小 数据 
知 与 知 能 时 代 的 各 项 新 技术 相 结 合 ， 它 能 提供 的 信息 将 远 不 止 于 此 。 


(三 ) 小 数据 的 时 代表 征 


(1) 具有 鲜明 的 个 体 独特 性 


小 数据 十 围绕 个 体 用 户 所 感知 的 数据 集合 ， 体 现 了 较 高 的 数据 价 
值 密度 ， 具 有 鲜明 的 个 体 独 特性 。 不 同 层次 的 个 体 用 户 如 企业 层次 和 
个 人 层次 ， 其 数据 广度 和 深度 大 相 径 姓 ， 同 一 层次 的 个 体 用 户 ， 其 行 
为 特征 同样 具有 一 定 的 特异 性 ， 这 导致 涉及 的 小 数据 集 也 各 不 相同 。 
即使 对 于 同一 个 事件 ， 不 同 的 个 体 用 户 由 于 所 处 环境 、 学 习 育 景 、 认 
知 能 力 、 思 维 方式 不 同 ， 其 产生 的 行为 方式 也 十 不 同 的 。 这 也 决定 了 
小 数据 的 个 体 独 特性 。 而 这 一 特征 恰好 为 获取 用 户 的 个 性 化 需求 创造 
于 条 作 二 


(2) 具有 复杂 多 样 的 数据 特性 


随 着 高 性 能 传 感 占 、 可 穿戴 设备 等 希 能 产品 和 内 入 程序 的 广泛 普 
及 和 运用 ， 这 些 设备 所 产生 的 数据 类 型 体现 出 广泛 的 半 结 构 化 和 非 结 
构 化 特征 ， 并 且 随 痢 时 间 的 推移 以 及 个 体 用 户 活 动 范围 的 扩大 ， 其 产 
出 的 数据 量 也 在 逐渐 增多 ， 从 而 进一步 加 剧 了 数据 的 复杂 性 。 男 外 ， 
在 2.0 时 代 ， 小 数据 已 经 不 拘泥 于 传统 观念 中 为 了 解决 特定 的 问题 才 去 
收集 、 分 析 、 处 理 指定 的 相关 数据 的 内 溯 ， 而 是 来 到 了 针对 特定 个 体 
进行 数据 生产 的 阶段 。 从 这 个 角度 来 讲 ， 小 数据 与 大 数据 兼 有 具 预测 功 
能 ， 只 不 过 预测 的 视野 和 方式 有 所 区 别 ， 这 种 “预测 ”也 体现 了 小 数据 
复杂 多 样 的 数据 特性 。 此 外 ， 个 体 在 日 常 的 生活 、 学 习 和 工作 中 ， 其 


目 身 产生 的 数据 内 容 也 具有 多 样 性 ， 如 视频 数据 、 图 片 数 据 、 文 本 数 
据 等 ， 同 时 这 些 数据 集 具 有 一 定 的 主观 性 、 离 散 性 和 随机 性 。 


(3) 具有 高 度 的 实时 动态 性 


具有 高 度 的 实时 动态 性 是 由 于 对 个 体 的 感知 和 监控 是 全 天 候 、 全 
方位 的 ， 因 此 小 数据 的 获取 和 收集 也 是 实时 更 新 、 动 仿 存 储 的 。 对 于 
同一 个 体 用 户 而 言 ， 在 不 同 的 时 间 ， 其 所 处 的 情景 状态 是 不 一 样 的 ， 
从 而 使 小 数据 集合 具有 动态 性 和 不 确定 性 。 另 外 ， 个体 用 户 所 承担 的 
任务 和 遇 到 的 问题 也 是 不 断 变 化 的 ， 用 户 的 需求 行为 随 之 变化 ， 这 也 
将 促使 小 数据 集合 的 实时 变动 。 


(4) 具有 明显 的 人 机 交互 性 


1.0 时 代 ， 小 数据 无 需 强调 个 人 的 表达 需求 ， 而 更 关注 样本 对 总 体 
的 代表 性 以 及 对 所 研究 的 科学 问题 的 解释 程度 。2.0 时 代 ， 小 数据 可 以 
以 两 种 方式 走 进 我 们 的 生活 : 第 一 种 是 人 为 采集 小 数据 ， 这 个 层面 上 
的 小 数据 是 消费 者 与 采集 者 分 至 的 有 关 其 独特 偏好 的 微 数据 ， 比 方 说 
他 们 订阅 哪些 报纸 、 青 睐 哪 家 餐厅 以 及 他 们 在 旅行 时 喜欢 去 哪些 地 
方 ， 通 过 人 工 对 数据 进行 理解 和 加 工 ; 第 二 种 则 是 通过 各 类 智能 设备 
和 传 感 设备 采集 个 体 的 所 有 数据 ， 这 个 层面 上 的 小 数据 市 有 很 明显 的 
人 机 交互 性 ， 需 要 机 器 系统 以 适当 的 方式 回应 不 同 风格 的 用 户 。 


二 、 小 数据 之 崛起 


图 像 、 语 音 、 文 本 、 情 绪 成 为 近 两 年 最 热门 的 概念 ， 所 谓 需求 
动 市 场 ， 市 场 豫 动 技术 发 展 。 在 现在 的 人 工 知 能 时 代 , “快速 的 准 
确 ”“ 语 义 ” 才 能 火 ， 而 图 像 、 语 首 、 文 本 、 情 绪 也 从 过 去 的 大 数据 概念 
往 更 高 次 的 小 数据 技术 领域 前 进 ， 智 能 的 语音 识别 、 图 像 识别 、 文 本 
识别 、 语 音 情绪 识别 将 走 进 普 通 人 的 生活 中 ， 它 们 将 会 有 哪些 值得 我 
们 期 竺 的 动作 ， 让 我 们 所 见 所 听 的 世界 变 得 生动 起 来 呢 ? 


(一 ) 图 像 识别 


图 像 识 别 技术 是 当前 人 工 智能 的 一 个 重要 领域 ， 它 取决 于 三 个 要 
素 : 算法 、 大 数据 和 应 用 场景 。 


目前 来 看 ， 图 像 识 别 从 以 图 搜 图 到 明星 、 物 体 识别 ， 再 到 场景 识 
别 ， 甚 至 现在 延伸 到 了 视频 领域 ， 给 行业 市 来 了 太 多 慰 喜 。 现 在 图 片 
内 容 的 价值 已 经 超越 图 片 本 喘 ， 并 且 建 立 了 从 图 片 到 电 商 的 商业 模 
式 。 图 像 识别 一 般 针 对 画面 中 的 一 个 对 象 做 识别 ， 比 如 ， 大 众 熟 知 的 
人 脸 、 明 星 脸 等 识别 技术 已 经 很 成 敦 了 ， 基 本 识别 率 可 以 达到 90% 以 
上 。 近 年 来 ， 服 饰品 牌 的 同 款 识别 和 风景 识别 也 很 流行 ， 为 旅游 行业 
和 服饰 行业 创造 了 商机 。 图 像 识别 在 视频 领域 也 体现 出 强大 的 应 用 前 
景 ， 新 兴起 的 互动 视频 技术 Video++ 已 经 能 实现 视频 中 的 人 脸 和 服饰 同 
款 的 识别 ， 可 以 基于 图 像 识 别 技术 发 展 视频 中 的 商业 场景 。 另 外 上 腾 和 孔 
识别 的 研究 已 经 担 上 日 程 ， 相 信 在 不 久 的 将 来 ， 科 幻 片 中 所 见 即 所 得 
的 情景 不 再 是 幻 想 。 


但 是 ， 图 像 识别 技术 在 真实 应 用 场景 中 并 没有 你 想象 中 的 那么 
好 ， 识 别 错误 率 依然 很 高 。 这 和 是 因 为 现 有 的 图 像 识 别 技术 主要 基于 统 
计 学 原理 ， 依 靠 分 析 视 觉 数据 的 特性 ， 借 助 统计 学 建 模 等 数学 分 析 方 
式 提取 出 来 ， 最 后 应 用 到 图 像 中 。 这 种 图 像 识 别 技 术 ， 一 方面 实现 的 
门 覃 比较 高 ， 对 图 像 类 型 、 质 量 等 都 有 一 定 要 求 ， 我 们 提供 的 图 片 光 
线 、 像 素 、 角 度 等 问题 都 会 造成 识别 不 准确 ; 另 一 方面 ， 小 数据 特征 
在 统计 模型 中 往往 是 被 忽略 掉 的 ， 而 这 些小 数据 特征 有 时 又 是 整个 图 
像 中 最 关键 的 特征 。 所 以 目前 图 像 识 别 技术 还 仅 作为 我 们 的 辅助 工具 
存在 ， 为 我 们 目 喘 的 人 类 视觉 提供 强 有 力 的 辅助 和 增强 ， 市 给 我 们 一 
种 全 新 的 与 外 部 世界 进行 交互 的 方式 ， 应 用 也 基本 局 限 在 个 别 刚 需 的 
垂直 专业 领域 ， 比 如 ， 医 疗 成 像 分 析 的 疾病 预测 、 安 防 监控 领域 的 嫌 
疑 人 指认 等 。 而 在 其 他 领域 ， 如 车 险 理 赔 领 域 ， 仍 被 当 作 一 个 另类 来 
看 待 。 


2017 年 6 月 ， 蚂 蚁 金 服 在 北京 发 布 了 继 “ 车 险 分 ”之 后 的 男 一 款 车 险 
“ 定 损 宝 ”。 有 媒体 解读 说 ,，“ 定 损 宝 ” 的 到 来 ， 会 让 查勘 员 逢 


产品 
底 失 业 。 

蚂蚁 金 服 给 出 的 定义 是 一 “ 定 损 宝 "应 用 了 深度 学 习 图 像 识别 检 
测 技术 ， 用 AI (人 工 智能 ) 充当 眼睛 和 大 脑 ， 代 替 定 损 员 的 技能 与 工 
作 ， 通 过 部 署 在 云端 的 算法 识别 事故 照片 ， 与 保险 公司 连接 后 ， 在 几 
秒 钟 之 内 就 能 给 出 准确 的 定 损 结 果 ， 包 括 受 损 部 件 、 维 修 方案 及 维修 
价格 。 


当 我 们 用 App (应 用 程序 ) 拍摄 事故 车 照片 时 ，App 可 以 实现 对 图 
像 的 自动 识别 ， 判 断 你 拍 的 是 什么 配件 。 由 于 采用 了 人 工 智 能 技术 ， 
它 可 以 分 析 这 个 配件 是 否 损 坏 ， 并 且 根 据 数据 库 中 的 价格 ， 自 动 给 
这 个 配件 喷漆 和 狼 金 的 价格 。 

但 是 ， 这 款 号 称 基于 汽车 外 观 配 件 的 大 数据 图 像 识别 产品 ， 实 际 
上 只 能 解决 车 辆 外 观 刚 跤 的 事故 定 损 ， 而 涉及 车 内 配件 的 损失 、 人 伤 
事故 、 虚 假 赔 案 等 事故 场景 ， 其 实 都 解决 不 了 。 而 在 车 险 理 赔 中 ， 事 


故 原因 、 车 内 受 损 程 度 、 人 员 伤 残 等 级 等 小 数据 因素 ， 往 往 才 是 案件 
最 关键 的 部 分 。 所 以 当 “ 定 损 宝 ” 这 款 产 品 发 布 后 ， 江 即 束 被 许多 保险 
业界 理赔 人 十 “吐槽 ?”， 要 想 通过 图 像 识 别 技术 改变 保险 理赔 ， 还 为 时 
过 早 。 

实际 上 ， 昌 然 图 像 识 别 技 术 距 我 们 实际 应 用 要 求 还 有 很 长 一 段 路 
要 走 ， 但 如 果 图 像 识 别 技术 能 够 将 大 数据 因素 与 小 数据 因素 结合 
虚 ， 利 用 小 数据 找到 图 像 中 的 关键 信息 ， 让 机 器 真正 具有 了 视觉 ， 它 
们 完全 有 可 能 代替 我 们 去 完成 这 些 工作 。 未 来 的 图 像 识 别 技术 ， 也 一 
定 能 够 在 更 多 应 用 领域 中 取得 实质 性 的 突破 。 可 如 采 图 像 识 别 技术 无 
法 解决 小 数据 的 问题 ， 一 切 所 谓 的 图 像 精 准 识别 仍 将 是 空谈 。 


(二 ) 语音 识别 


与 机 器 进行 语音 交流 ， 让 机 器 明白 你 在 说 什么 ， 这 是 人 们 长 期 以 
来 梦 辣 以 求 的 事情 。 语 音 识别 技术 束 是 让 机 需 通 过 识别 和 理解 过 程 把 
语音 信号 转变 为 相应 的 文本 或 命令 的 技术 。 

语音 识别 技术 起 源 于 1952 年 ， 但 真正 进入 消费 市 场 已 经 是 20 世 纪 
90 年 代 的 事 了 。 目前 语音 识别 有 两 大 发 展 方向 ， 一 是 纯 机 械 指 令 ， 基 
于 产品 定位 而 设计 命令 词组 ， 作 为 高 效 的 辅助 工具 存在 ， 可 以 理解 成 
是 小 数据 ; 一 是 智能 化 理解 语 境 ， 是 人 工 智能 的 一 个 分 文 ， 与 人 进行 
互动 交流 ， 并 承担 部 分 处 理工 作 ， 也 是 目前 语音 识别 发 展 的 主要 方 
向 ， 可 以 理解 成 是 大 数据 。 

从 实际 应 用 来 看 ， 两 者 并 不 冲突 。 人 简单 精准 的 机 械 指 令 让 工作 更 
为 纯粹 ， 没 必要 做 多 余 的 计算 动作 。 而 很 多 智能 设备 将 语音 作为 “解放 
双手 ”的 第 三 类 互动 形态 ， 就 需要 对 人 的 语 境 进 行 “ 理 解 >， 相 信 很 多 朋 
友 都 玩 过 Siri 〈 苹 果 手 机 上 的 智能 语音 控制 功能 ) 、GoogleNow (谷歌 
开发 的 智能 语音 服务 应 用 ) 、Cortana 〈 小 娜 ， 微 软 开 发 的 个 人 智能 助 


理 ) ， 同 时 也 体验 过 这 些 语音 助手 “会 错 意 ” 的 卖 萌 行为 。 罗 永 浩 在 
2016 年 坚果 发 布 会 上 曾 说 所 有 语音 助手 都 是 “ 伪 ” 知 能， 虽然 有 点 以 仿 
概 全 ， 但 目前 语音 对 语 境 的 识别 确实 还 不 够 智能 ， 远 不 如 机 械 指令 有 
效率 。 


目前 主流 的 语音 识别 技术 是 基于 统计 模式 识别 的 大 数据 基本 理 


论 。 一 个 完整 的 语音 识别 系统 可 大 致 分 为 三 部 分 。 

(1) 语音 特征 提取 : 其 目的 是 从 语音 波形 中 提取 出 随时 间 变 化 的 
语音 特征 序列 。 

(2) 声学 模型 与 模式 匹配 (识别 算法 : 声学 模型 通常 将 获取 的 
语音 特征 通过 学 习 算法 产生 。 在 识别 时 将 输入 的 语音 特征 同 声学 模型 

(模式 ) 进行 匹配 与 比较 ， 得 到 最 佳 的 识别 结果 。 

(3) 语言 模型 与 语言 处 理 : 语言 模型 包括 由 识别 语音 命令 构成 的 
语法 网 络 或 由 统计 方法 构成 的 语言 模型 ， 语 言 处 理 可 以 进行 语法 、 语 
义 分 析 。 对 小 词 表 语音 识别 系统 ， 往 往 不 需要 语言 处 理 部 分 。 


声学 模型 是 识别 系统 的 故 层 模型 ， 并 且 是 语音 识别 系统 中 最 关键 
的 部 分 。 声 学 模型 的 目的 是 提供 一 种 有 效 的 方法 以 计算 语音 的 特征 天 
量 序列 和 每 个 发 音 模板 之 间 的 距离 。 声 学 模型 的 设计 和 语言 发 音 特点 
密切 相关 。 声 学 模型 单元 大 小 〈 字 发 音 模型 、 半 音节 模型 或 音素 模 
型 ) 对 语音 训练 数据 量 大 小 、 系 统 识 别 率 ， 以 及 灵活 性 有 较 大 的 影 
啊 。 必 须根 据 不 同 语言 的 特点 、 识 别 系 统 词汇 量 的 大 小 决定 识别 单元 
的 大 

语言 模型 对 中 、 大 词汇 量 的 语音 识别 系统 特别 重要 。 当 分 类 发 生 
错误 时 可 以 根据 语言 学 模型 、 语 法 结构 、 语 义学 进行 判断 纠正 ， 特 别 
征 一 些 同 音字 则 必须 通过 上 下 文 结 构 才 能 确定 词义 。 语 言 学 理论 包括 
语义 结构 、 语 法 规则 、 语 言 的 数学 措 述 模型 等 有 头 方面 。 目 前 比较 成 
功 的 语言 模型 通常 是 采用 统计 语法 的 语言 模型 与 基于 规则 语法 结构 命 


令 的 语言 模型 。 语 法 结构 可 以 限定 不 同 词 之 间 的 相互 连接 关系 ， 减 少 
了 识别 系统 的 搜索 空间 ， 这 有 利于 提高 系统 识别 精确 性 。 

语音 识别 过 程 实际 上 是 一 种 认识 过 程 。 融 像 人 们 听 语 音 时 ， 并 不 
把 语音 和 语言 的 语法 结构 、 语 义 结构 分 开 ， 因 为 当 语音 发 音 模 糊 时 人 
们 可 以 用 这 些 知 识 来 指导 对 语言 的 理解 过 程 ， 但 是 对 机 器 来 说 ， 识 别 
系统 也 要 利用 这 些 方面 的 知识 ， 只 是 如 何 有 效 地 摘 述 这 些 语法 和 语义 
还 有 困难 : 小 词汇 量 语音 识别 系统 ， 通 常 包括 几 十 个 词 的 语音 识别 
系统 ; @ 中 等 词汇 量 的 语音 识别 系统 ， 通 党 包括 几 百 至 上 千 个 词 的 语 
首 识 别 系统 ，(3) 大 词汇 量 语 首 识 别 系统 ， 通 常 包括 几 干 至 几 万 个 词 的 
语音 识别 系统 。 这 些 不 同 的 限制 也 确定 了 语音 识别 系统 的 困难 度 。 


可 见 ， 即 便 在 语音 识别 的 大 数据 统计 模式 中 ， 语 音 识别 关键 提取 
的 数据 其 实 还 是 小 数据 。 而 且 在 语音 识别 中 ， 很 多 时 候 我 们 没有 那么 
多 大 数据 ， 这 时 我 们 又 该 怎么 办 呢 ? 


此 时 要 想 解 决 这 些 问题 ， 基 本 的 思路 就 是 共 诗 ， 用 小 数据 实现 大 
数据 的 功能 。 现 在 的 语音 识别 基本 十 这 个 样子 的 ， 整 个 一 套 系 统 不 再 
有 那么 多 复杂 的 模块 ， 基 本 十 由 神经 网 络 负责 从 语音 信号 端 到 说 话 内 
容 问 的 学 习 。 那 么 我 们 一 方面 需要 将 语 首 的、 文本 的 各 种 小 数据 信息 
集成 在 一 起 ， 放 到 大 数据 里 一 起 进行 更 有 效 的 共 至 学 习 ; 男 一 方面 非 
监督 学 习 征 间接 利用 语音 大 数据 的 有 效 工 具 ， 我 们 只 有 利用 好 这 些 工 
具 ， 才 能 将 现 阶段 所 拥有 的 小 数据 与 大 数据 结合 起 来 ， 使 小 数据 到 大 
数据 的 学 习 成 为 可 能 。 


(三 ) 文本 识别 


文字 是 承载 人 类 千年 文明 的 符号 ， 是 祖先 留 给 我 们 的 遗产 ， 和 凭借 
它 我 们 可 以 回溯 历史 上 发 生 的 事情 ， 丰 富 我 们 当下 的 思想 ， 把 握 时 代 
的 命脉 。 在 信息 时 代 的 今天 ， 文 字 也 越 来 越 多 地 存在 于 各 类 图 像 之 


中 ， 如 何 便捷 高 效 地 获取 其 中 的 文字 信息 ， 有 着 非常 重要 的 时 代 意 
义 o 

文字 识别 (文本 识别 ) 是 利用 计算 机 自动 识别 字符 的 技术 ， 是 模 
式 识别 应 用 的 一 个 重要 领域 。 文 字 识 别 一 般 包 括 文字 信息 的 末 集 、 信 
奶 的 分 析 与 处 理 、 信 息 的 分 类 判别 等 几 个 部 分 。 文 字 识 别 可 应 用 于 许 
多 领域 ， 如 阅读 、 翻 译 、 文 献 资 料 的 检索 、 各 类 证 件 的 识别 、 信 件 和 
包 囊 的 分 拣 、 稿 件 的 编辑 和 校对 、 大 量 统计 报表 和 卡 卢 的 汇总 与 分 
析 、 银 行文 票 的 处 理 、 商 品 发 票 的 统计 汇总 、 商 品 编码 的 识别 、 商 品 
仓库 的 管理 ， 以 及 水 、 电 、 煤 气 、 房 租 、 人 身 保险 等 费用 的 征收 业务 
中 的 大 量 信用 卡 厂 的 自动 处 理 和 办 公 室 打字 员工 作 的 局 部 目 动 化 等 ， 
方便 用 户 快速 录入 信息 ， 提 高 各 行 各 业 的 工作 效率 。 

目前 ，OCR (Optical Character Recognition， 光 学 字符 识别 ) 技术 
被 认为 是 文本 识别 最 有 效 的 技术 方式 ， 它 是 通过 扫描 等 光学 输入 方式 
将 各 种 票据 、 报 刊 、 书 籍 、 文 稿 及 其 他 印刷 品 的 文字 转化 为 图 像 信 
忌 ， 再 利用 文字 识别 技术 将 图 像 信息 转化 为 可 以 使 用 的 计算 机 输入 技 
术 。 其 诞生 20 多 年 来 ， 经 历 了 从 实验 室 技 术 到 产品 的 转变 ， 目 前 已 经 
步 入 行业 应 用 开发 的 成 熟 阶段 。 

文字 识别 常用 的 方法 有 模板 匹配 法 和 几何 特征 抽取 法 。 

(1) 模板 匹配 法 。 采 用 的 是 大 数据 算法 ， 将 输入 的 文字 与 给 定 的 
各 类 别 标 准 文字 (模板 ) 进行 相关 匹配 ， 计 算 输 入 文字 与 各 模板 之 间 
的 相似 性 程度 ， 取 相似 度 最 大 的 类 别 作为 识别 结果 。 这 种 方法 的 优点 
是 用 整个 文字 进行 相似 度 计算 ， 所 以 对 文字 的 缺损 、 边 缘 噪 声 等 具有 
较 强 的 适应 能 力 。 缺 点 是 当 被 识别 类 别 数 增加 时 ， 标 准 文 字模 板 的 数 
量 也 随 之 增加 。 这 一 方面 会 增加 机 器 的 存储 容量 ， 另 一 方面 也 会 降低 
识别 的 正确 率 ， 因 此 只 适用 于 识别 固定 字形 的 印刷 体 文字 。 
(2) 几何 特征 抽取 法 。 采 用 的 是 小 数据 算法 ， 通 过 抽取 文字 的 一 

些 几 何 特征 ， 如 文字 的 端点 、 分 叉 点 、 四 吓 部 分 以 及 水 平 、 垂 直 、 倾 
斜 等 各 方向 的 线段 、 闭 合 环 路 等 ， 根 据 这 些 特 征 的 位 置 和 相互 关系 进 


行 逻辑 组 合 判 断 ， 获 得 识别 结果 。 这 种 识别 方式 由 于 利用 结构 信息 ， 
也 适用 于 手写 体 那样 变形 较 大 的 文字 。 

目前 来 看 ， 文 字 识 别 对 于 标准 的 字体 识别 准确 率 较 高 ， 但 对 于 一 
些 特殊 字体 仍 无 法 准确 识别 。 小 数据 或 许可 解决 这 个 问题 。 在 小 网 格 
育 景 下 ， 我 们 可 以 将 每 个 数字 、 英 文字 符 、 竺 殊 符号 看 成 一 个 笔画 模 
式 或 笔画 组 模式 ， 然 后 以 每 一 个 独立 笔画 为 单位 ， 找 出 每 个 笔画 相对 
关系 的 数学 计算 与 表达 规律 ， 调 整 约束 方法 ， 模 糊 角 度 范 围 ， 形 成 一 
种 特殊 的 算法 ， 以 提高 特殊 字体 文字 的 识别 准确 度 。 


(四 ) 情绪 识别 


情绪 识别 ， 是 一 种 判断 人 的 情绪 变化 的 技术 ， 主 要 十 通过 收集 人 
的 外 在 表情 和 行为 变化 ， 对 人 的 心理 状态 进行 推断 。 在 现代 社会 ， 情 
绪 识 别 技 术 已 经 被 广 沁 应 用 于 智能 设备 开发 、 健 康 管理 、 广 告 营 销 等 
方面 。 

成 芯 于 2009 年 的 一 家 美国 公司 ， 能 通过 摄像 头 捕捉 、 记 录 人 的 面 
部 肌肉 运动 ， 并 根据 算法 模型 ， 分 析 面 部 表情 ， 得 出 情绪 的 相关 结 
论 。 这 种 情绪 识别 技术 ， 是 以 图 像 识 别 为 基础 ， 可 以 帮助 广告 商 分 析 

告 效 果 ， 找 出 消费 者 真正 感 兴趣 的 部 分 。2012 年 美国 总 统 大 选 时 ， 
该 团队 用 此 技术 追踪 了 200 多 人 观看 奥巴马 和 有 罗 姆 尼 辩 论 时 的 表情 。 结 
条 显示 ， 这 款 软 件 预测 选民 投票 结 采 的 正确 率 高 达 739%。 


2012 年 ， 以 色 列 的 一 家 公司 发 明了 一 系列 语音 识别 算法 ， 可 以 根 
据说 话 方式 和 音域 变化 ， 分 析出 慑 把、 焦虑 、 笠 福 或 满足 等 情绪 。 心 
情 的 细微 差别 也 能 被 精准 检测 。 迄 今 为 止 ， 该 算法 可 以 分 析出 11 个 类 
别 的 400 种 复杂 情绪 。2013 年 ， 英 国 的 一 家 初创 企业 ， 也 为 此 专门 研发 
了 一 种 语音 识别 平台 ， 能 通过 分 析 音 调 ， 监 测 用 户 情 绪 。 目 前 ， 该 系 
统 可 识别 5 种 基本 情绪 : 高 兴 、 悲 伤 、 害 民 、 惯 把 以 及 无 感情 。 识 别 准 


确 率 为 70%~809%， 超 过 了 人 耳 识别 的 平均 水 乎 。 当 然 ， 该 系统 距离 识 
别 出 反 感 、 讽 刺 等 更 复杂 的 情绪 ， 还 有 一 定 关 距 。 不 过 从 商业 角度 考 
虑 ，5 种 基本 情绪 已 然 够 用 。 


2014 年 ， 加 拿 大 的 一 家 公司 开发 了 一 款 基 于 云 计 算 的 人 工 智能 文 
本 分 析 工 具 ， 能 对 电子 邮件 、 网 页 文档 和 手机 短信 进行 情感 色彩 分 
析 ， 以 确定 措辞 是 否 如 实 表 达 了 使 用 者 的 思想 甚至 情感 。 


2017 年 ， 麻 省 理工 学 院 计 算 机 和 人 工 智能 实验 室 的 研究 人 员 ， 开 
发 了 一 款 可 穿戴 的 应 用 程序 ， 使 用 时 ， 只 需 将 应 用 程序 安装 在 健康 追 
踩 右 上 ， 束 能 目 动 收集 使 用 者 的 喘 体 和 语音 数据 ， 通 过 使 用 人 工 入 
能 ， 感 知 使 用 者 的 心跳 和 语音 腔调 ， 以 此 判断 使 用 者 是 高 兴 还 是 悲 
伤 ， 并 每 隔 5 秒 殉 会 奶 踩 情绪 变化 。 

情绪 识别 系统 之 所 以 可 以 识别 人 的 情绪 ， 一 方面 是 基于 其 庞大 的 
情绪 数据 库 ， 毕 葛 计 算 机 要 对 一 种 复杂 的 现象 做 出 判断 就 离 不 开 大 数 
据 ， 为 一 方面 也 依赖 于 对 小 数据 特征 的 提取 ， 通 过 捕 提 面部 表情 、 语 
首 腔 调 、 脉 捕 心 跳 等 典型 特征 ， 通 过 分 解 、 组 合并 赋予 不 同 的 代 碍 ， 
计算 机 系统 束 可 以 进行 精确 的 识别 了 。 


三 、 小 数据 大 潜能 


(一 ) 小 设备 解读 大 目 我 


人 ， 是 一 切 数 据 存在 的 根本 ， 人 的 需求 是 所 有 科技 变革 发 展 的 动 
力 。 如 何 从 内 而 外 深入 地 解剖 自我 将 是 数据 革命 下 一 步 的 深刻 命题 。 
既然 要 用 数据 手段 解读 复杂 的 个 体外 在 表达 形式 和 内 在 运作 机 理 ， 首 
移 束 要 将 自我 以 多 个 维度 进行 量化 。 
量化 自我 (Quantified Self) ， 是 “运用 技术 手段 ， 对 个 人 生活 中 
有 关 生 理 吸 收 (Inputs ) 、 当 前 状态 (Status) 和 身心 表现 
(Performance) 等 方面 的 数据 进行 获取 ”。 狭 义 的 量化 自我 指 与 个 体 日 
常生 理 活动 、 状 态 直 接 相 关 的 量化 和 监测 过 程 一 一 通过 便携 式 传 感 器 
和 知 能 设备 等 技术 手段 ， 来 追踪 和 记录 运动 、 睡 眠 、 饮 食 等 个 体 行为 
的 情况 ， 通 过 各 种 数据 指标 来 研究 、 分 析 自 身 ， 主 要 有 日 常 记录 、 运 
动 追 踪 、 上 睡眠 管理 、 情 绪 监 测 、 机 能 监测 五 个 方面 。 广 义 的 量化 自我 
绝 不 仅 限 于 身体 和 健康 领域 ， 还 包括 个 体 的 日 常生 活 习 惯 、 行 为 、 认 
知 等 探索 个 体 生 活 的 量化 客体 。 如 记录 夫妻 关系 、 学 习 、 孩 子 的 情 
况 、 喘 体 以 及 房子 情况 等 。 我 们 每 天 通过 个 人 计算 机 、 智 能 手机 、 信 
用 卡 等 不 断 产生 文字 、 照 片 、 声 音 、 视 频 、 地 理 位 置 和 消费 记录 ， 都 
是 在 构成 个 体 的 数据 世界 ， 个 体 把 对 自我 的 了 解 变 成 个 人 数据 库 。 在 
小 数据 体系 下 的 量化 自我 ， 可 以 包含 多 层次 数据 ， 如 表 1-1 所 示 。 
表 1-1 小 设备 解读 大 自我 


吴 体 特征 、 运 动 过 程 、 饮 食 习 惯 、 情 绪 数 据 等 


健康 数据 
一 一 关于 人 体 机 能 与 状态 病历 、 身 高 、 体 重 、 血 液 、 心 脏 、 呼 吸 、 睡 卢 、 热 
量 摄取 和 消耗 、 情 绪 


性 格 特点 、 兴 趣 爱好 、 社 交 网 络 行为 、 语 义 习惯 等 


认 知 数据 
一 关于 个 体 性 格 、 认 知 规律 经 历 、 言 论 、 有 照片、 视频 、 标 签 、 兴 趣 组 、 访 问 记 录 、 
社交 关系 
交易 行为 、 金 融 财 务 状 态 、 税 务 与 社保 数据 等 
消费 数据 
一 关于 个 体 消费 行为 与 习惯 | 存款 、 股 票 资产、 投资 .信用 卡 记 录 、 电 子 消费 记录 、 
纳税 与 社保 记录 
天 气 、 位 置 、 通 信 数 据 等 
环境 数据 


一 ”关于 个 体 与 物理 环境 互动 | LBS (基于 位 置 服务 ) 记录 、 天 气 记 录 、 轰 驶 数据 、 
航班 记录 、 通 信 记 录 、 旅 行 记录 


从 微观 上 看 ， 随 着 微型 传 感 邵 等 小 设备 和 智能 移动 技术 的 发 展 ， 
对 目 我 的 解读 将 不 仅仅 局 限于 上 述 几 类 数据 ， 人 们 对 目 我 的 解读 也 不 
完全 依赖 于 智能 罕 戴 设备 所 感知 到 的 各 项 指标 。 对 于 个 体 发 展 来 说 ， 
更 为 重要 的 是 丰富 认识 目 我、 理解 自我 、 批 判 自我 并 最 终 原谅 和 目 我 、 
认同 目 我 的 过 程 和 角度 。 这 些小 设备 ， 在 技术 层面 可 以 监测 并 预防 个 
体 患 上 情绪 病 的 概率 。 在 生命 这 场 声 势 洗 大 的 人 海 拾 苑 中 ， 又 可 以 陪 
伴 个 体 度 过 开心 、 苗 楚 甚 至 万 分 艰难 的 上 时光， 并 且 感 知 、 温 上 暧 我 们 的 
内 心 ， 排 解 个 体 无 可 遂 逃 的 孤独 感 ， 使 我 们 更 锥 达 地 走向 沧海 之 阔 。 

从 宏观 上 看 ， 当 个 体 的 量化 目 我 行为 成 为 一 种 普 衣 的 社会 实践 之 
后 ， 所 谓 的 大 数据 ( 普 适 计算 网 络 ) ， 就 是 把 世界 划 归 为 两 类 数据 ， 
一 类 是 目 然 数据 ， 另 一 类 是 社会 数据 ， 而 社会 数据 即 是 由 无 数 的 个 体 
数据 库 构 成 的 量化 目 我 的 计算 网 络 一 一 一 个 包罗 万 千 的 社会 数据 网 


(二 ) 小 细 市 解锁 大 问题 


小 数据 这 把 金 钥匙 难 找 ， 因 为 它们 基本 上 是 弱 信号 ， 出 现 的 频率 
低 ， 往 往 埋没 在 偏差 值 中 ， 容 易 被 忽视 。 同 样 难 的 是 ， 它 们 过 去 没有 
规律 性 地 出 现 过 ， 对 不 熟悉 的 现象 ， 人 们 心理 上 错 把 它们 当 作 不 大 可 
能 的 现象 。 因 此 ， 决 策 时 人 们 容易 把 弱 信号 当 作 背 景 噪声 过 滤 掉 。 

在 经 济 全 球 化 的 背景 下 ， 过 去 一 年 “ 黑 天 禾 " 频 飞 。“ 黑 天 鹅 * 比 喻 
小 概率 而 影响 巨大 的 事件 ， 警 惕 “ 黑 天 鹅 "需要 企业 加 强风 险 管控 ， 展 
开 压 力 测试 ， 最 大 限度 避免“ 黑 天 牲 " 事 件 对 企业 的 伤害 。 这 毫 无 疑问 
需要 对 企业 内 部 小 数据 进行 整合 运用 。 

但 是 ， 相 比 于 “ 黑 天 鹅 "， 更 值得 关注 的 或 许 是 另 一 种 “ 动 
物 "一 “ 灰 犀 牛 *。"“ 灰 犀牛 * 比 喻 大 概率 且 影 响 巨大 的 潜在 危机 。 砍 尿 
牛 体形 繁重 、 反 应 迟缓 ， 你 能 看 见 它 在 远 处 ， 似 乎 可 以 毫 不 在 意 ， 而 
一 旦 它 向 你 狂奔 而 来 ， 定 会 让 你 狂 不 及 防 ， 直 接 被 扑 倒 在 地 。 它 并 不 
神秘 ， 却 更 危险 。 

小 数据 能 做 的 就 是 在 海量 数据 中 发 现 企业 运营 中 被 忽略 和 遗漏 的 
信息 ， 捕 提 与 企业 休 威 相关 的 “小 细节 ”但 “大 到 难以 忽视 的 信息 ， 并 
迅速 对 其 做 出 反应 。 


(三 ) 小 体 量 剖析 大 逻辑 


小 数据 的 数据 量 较 小 ， 更 加 注重 非 结 构 化 数据 之 间 的 关联， 注重 
深度 挖 气 。 在 小 数据 决策 体系 下 产生 的 分 析 结 果 是 逻辑 严 谍 ， 能 够 为 
通 识 层 面 的 认 知 所 接受 。 也 就 是 说 ， 小 数据 之 美 还 在 于 其 决策 体系 的 
进化 ， 如 图 1-1 所 示 。 


小 数据 
处 理 与 
融合 


小 数据 决策 支持 下 的 个 性 化 
服务 提供 与 保障 


图 1-1 小 数据 决策 流程 图 


从 小 数据 决策 流程 上 可 以 看 到 ， 小 数据 主要 先 通过 网 络 和 移动 终 
端 等 进行 数据 的 采集 ， 然 后 进行 数据 噪声 过 减 、 数 据 处 理 与 融合 、 数 
据 分 析 与 决策 ， 继 而 提出 个 性 化 服务 决策 方案 ， 最 后 得 到 小 数据 支持 
下 的 个 性 化 服务 的 提供 与 保障 。 


其 中 ， 数 据 的 采集 抑或 是 语义 的 读 取 古 基 于 有 一 定 逻 辑 文 撑 的 机 
妖 学 习 成 果 进 行 的 ， 可 以 反映 真实 的 个 体 需 求 和 现状 。 而 制定 科学 的 
小 数据 过 滤 和 处 理 标准 、 分 析 和 决策 方法 ， 则 可 以 保证 小 数据 在 统计 
分 析 过 程 中 对 于 细 市 的 保留 ， 这 一 点 是 经 过 标准 化 的 数据 所 缺失 的 ， 
也 是 统计 结果 无 法 用 逻辑 去 解释 的 主要 原因 。 随 着 小 数据 资源 采集 范 
围 、 种 类 和 深度 的 快速 增长 ， 过 于 庞大 的 小 数据 会 导致 数据 决策 过 程 
复杂 上 度 快 速 增长 ， 并 大 幅 降 低 小 数据 决策 的 可 靠 性 和 可 用 性 ， 因 此 ， 
在 小 数据 决策 过 程 中 ， 应 坚持 数据 高 价值 密度 和 多 样 性 的 原则 ， 尽 量 
避免 数据 的 价值 和 可 用 性 下 降 。 


在 这 方面 ， 近 年 来 以 传统 小 数据 为 基础 、 越 来 越 流行 的 抽样 调查 
的 实验 研究 有 着 独一无二 的 作用 。 研 究 人 员 可 以 在 实验 宝 中 对 受 访 人 
加 入 一 定 的 实验 条 件 ， 然 后 观测 受 访 人 是 否 受到 实验 条 件 的 影响 ， 从 
而 确定 实验 条 件 与 受 访 人 态度 或 行为 之 间 的 因果 关系 (例如 通过 观看 
环境 公益 广告 来 确定 受 访 人 环保 意识 的 变化 ) 。2.0 时 代 的 小 数据 在 构 
建 因 采 关 系 模型 时 也 应 借鉴 传统 小 数据 的 研究 方法 ， 延 续 其 对 严 谍 逻 
辑 的 解说 力 。 


(四 ) 小 领域 化 解 大 矛盾 


海量 数据 表面 上 很 容易 获得 ， 网 络 是 公共 场所 ， 谁 都 可 以 去 ， 但 
现实 并 非 如 此 。 如 采 想 真正 获得 有 价值 、 可 以 根据 目 己 的 理论 兴趣 做 
分 析 的 多 变量 大 数据 ， 就 会 涉及 以 下 几 个 问题 。 忆 较 高 的 硬性 技术 门 
监 及 投入 ， 对 于 中 小 型 企业 来 说 ， 数 据 的 需求 与 分 析 的 能 力 形 成 了 一 
对 基本 矛盾 。 人 个 人 的 隐私 、 商 业 或 政府 的 机 蜜 以 及 个 人 权利 、 经 济 
利益 和 政治 敏感 性 等 问题 。 数据 共 至 与 学 术 伦 理 形 成 了 一 对 基本 矛 
盾 。(3) 海 量 数据 并 不 完全 。 很 多 现象 是 难以 得 到 全 体 数据 的 ， 并 且 很 
多 情况 下 全 体 计 量 或 观察 是 不 经 济 的 ， 也 没 必 要 (大 量 观察 不 等 于 全 
体 观 察 ) 。 海 量 数 据 与 数据 代表 性 形成 了 一 对 基本 矛盾 。 而 小 数据 以 
一 个 较 小 的 内 部 环境 为 领域 地 市 ， 能 够 巧妙 地 化 解 这 三 对 阻碍 发 展 的 
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首先 ， 小 数据 被 移动 互联 时 代 赋 了 予 了 不 同 层次 的 功能 京 赋 。 对 于 
中 小 微 企业 来 说 ， 由 于 技术 壁垒 较 高 ， 看 似 被 动 选择 了 小 数据 战略 ， 
但 小 数据 完全 可 以 凭借 其 对 某 一 细 分 市 场 的 纵深 分 机， 以 或 朴素 或 爷 
进 的 方法 完成 对 目标 的 刻画 ， 从 而 化 被 动 为 主动 ， 在 小 数据 分 析 中 找 
到 企业 定位 。 这 样 看 来 ， 小 数据 殊 满 足 了 中 小 微 企业 在 茶 一 市 场 的 需 
求 ， 虽 然 看 起 来 不 太 完 美 ， 但 小 数据 尽职 尽责 地 完成 了 任务 。 


其 次 ， 小 数据 的 最 大 特点 束 是 数据 来 源 和 数据 使 用 者 是 同一 人 ， 
即使 中 间 过 程 数 据 被 智能 设备 存储 、 分 析 或 上 传 云 端 ， 其 仍然 以 “ 取 之 
于 民 、 用 之 于 民 ” 的 形式 你 证 了 个 人 数据 的 隐私 保护 ， 既 运用 丰富 的 个 
体 数 据 进 行 了 深度 学 习 和 数据 融合 ， 又 化 解 了 数据 的 共 至 需求 和 学 术 
伦理 问题 。 


最 后 ， 我 们 强调 海量 数据 不 等 于 能 提供 所 有 所 需 的 数据 ， 可 能 会 
出 现 * 一 方面 数据 很 丰 语 、 但 另 一 方面 信息 又 很 匮乏 ”的 现象 ， 这 隋 迫 
使 人 们 对 海量 数据 进行 再 认识 。 其 实 ， 多 年 来 ， 传 统 的 小 数据 已 经 将 
抽样 调查 技术 进行 了 更 新 述 代 ， 事 实 上 ， 对 于 某 项 研究 来 说 ， 只 要 制 


定 科学 的 抽样 标准 ， 小 数据 代表 总 体 的 能 力 殉 非常 强 。 但 是 传统 小 数 
据 从 制定 抽样 标准 到 最 终 得 出 结果 的 路 程 实在 是 太 漫 长 了 ， 已 经 超出 
了 “ 黑 科 技 ” 时 代 所 能 容 勾 的 决策 进度 。 因 此 2.0 时 代 的 小 数据 承载 了 新 
的 历史 使 合 ， 搭 上 智能 “高 铁 ”， 踏 上 了 寻找 数据 领域 黄金 平衡 总 的 征 
程 。 


(五 ) 小 数据 洞悉 大 未 来 


过 去 的 数据 很 大 程度 上 停留 在 说 明 过 去 的 状态 ， 实 际 上 是 用 过 去 
的 数据 说 明 过 去 或 者 解决 目标 问题 ， 因 此 是 一 个 用 小 样本 验证 问题 的 
过 程 ， 是 一 系列 的 历史 问题 。 而 2.0 时 代 下 小 数据 的 核心 是 预见 未 来 ， 
其 对 于 霖 来 的 预测 精准 度 很 大 一 部 分 取决 于 小 数据 的 决策 过 程 ， 统 计 
结果 是 否 具有 强 有 力 的 逻辑 文 撑 和 高 价值 密度 。 


在 传统 的 小 数据 研究 中 ， 人 研究 人 员 可 以 根据 自己 的 理论 需求 设计 
问卷 ， 并 测量 受 访 人 对 不 同 问题 的 看 法 和 人 态度。 此 外 ， 还 可 以 收集 并 
未 发 生 或 发 生 概 率 渺 荡 的 事件 信息 ， 比 如 ， 通 过 情景 设置 的 方式 或 实 
难 的 方法 来 检验 受 访 者 在 假设 情景 中 可 能 的 态度 和 行为 ， 这 显然 是 小 
数据 的 天 然 优 势 。 此 外 ， 人 小 数据 在 收集 受 访 人 观念 、 态 度 和 行为 方面 
数据 的 同时 ， 还 可 以 收集 他 们 的 个 人 基本 人 信息， 例如， 家 庭 、 工 作 、 
收入 、 政 治 面目 、 宗 教 信仰 等 ， 这 些 信 息 为 解释 受 访 人 的 其 他 行为 和 
观念 提供 了 更 多 的 可 能 性 ， 而 海量 数据 人 研究 是 无 法 根据 研究 者 的 需要 
来 收集 个 人 信息 的 。 从 这 个 意义 上 说 ， 小 数据 比 大 数据 更 适合 进行 具 
有 理论 意义 和 理论 突破 的 研究 。 


而 在 2.0 时 代 下 ， 小 数据 对 于 未 来 的 洞悉 能 力 将 会 大 大 增强 。2.0 时 
代 下 ， 人 小 数据 通过 更 加 联营 的 人 机 互动 系统 实现 对 个 体 信 息 的 全 面 采 
集 ， 并 且 能 够 利用 全 面 的 个 人 数据 优势 ， 结 合 外 部 大 数据 ， 提 供给 个 
人 个 性 化 、 独 特 而 有 价值 的 数据 服务 。 即 小 数据 通过 机 器 学 习 、 目 适 
应 系统 等 方式 与 个 体 共存 共生 ， 结 伴 成 长 。 小 数据 通过 对 个 体 纵 深 数 


据 的 分 析 来 了 解 个 体 并 且 预 见 个 人 的 生理 需求 、 情 感 诉求 以 及 更 深层 
次 的 如 回忆 淘 求 、 梦 境 请 求 、 企 业 的 运营 情况 感知 、 目 然 环 境 感 知 、 
工作 氛围 感知 、 员 工 情 绪 感 知 以 及 “ 黑 天 鹅 ” 风 险 感 知 等 。 小 数据 洞悉 
未 来 的 能 力 因 所 具备 的 机 器 系统 和 所 处 的 目 然 环境 系统 需求 而 异 ， 但 
未 来 可 以 预见 的 是 ， 小 数据 将 会 大 放 光 彩 。 


一 、 数 据 变 化 趋势 


对 于 任何 企业 来 说 ， 有 效 管理 其 内 部 结构 化 数据 一 一 小 数据 一 一 
极为 重要 。 请 注意 ， 小 数据 通 闸 也 是 很 “大 ”的 ， 它 的 “小 ”仅仅 相对 于 
大 数据 而 言 。 很 多 企业 存储 的 结构 化 交易 型 数据 已 经 非常 庞大 了 “。 因 
此 ， 对 于 企业 而 言 ， 管 理 好 小 数据 的 需求 是 共同 的 ， 这 种 需求 已 经 超 
越 企业 类 型 、 所 属 行业 和 目 吴 规模 等 。 


(一 ) 大 数据 分 析 到 小 数据 提取 


数据 管理 是 个 连续 而 非 一 孝 永 逸 的 工作 ， 没 有 哪个 企业 在 管理 数 
据 的 过 程 中 会 一 直 一 帆 风 顺 。 如 果 企 业 能 够 认真 对 行 数 据 管理 和 数据 
管控 ， 那 么 他 们 从 大 数据 中 获取 的 收益 将 会 更 大 ， 这 主要 是 因为 小 数 
据 的 提取 往往 是 以 大 数据 分 析 为 前 所 的 。 大 数据 技术 能 够 为 企业 的 小 
数据 运 维 提供 一 个 整体 思路 和 框 杂 ， 通 过 运用 这 个 框 杂 ， 企 业 无 须 当 
费时 间 和 资源 在 用 户 、 产 品 和 员工 数据 上 ， 他 们 只 需 轻 点 几 次 鼠标 ， 
或 以 更 加 轻松 的 方式 ， 束 可 目 动 获取 报表 数据 。 通 过 大 数据 分 析 ， 企 
业 可 以 迅速 了 解 目 己 的 市 场 份额 、 销 售 、 贷 务 、 风 险 程 度 等 小 数据 的 
情况 ， 抓 住 市 场 新 兴 趋 势 。 此 外 ， 大 数据 分 析 为 企业 获取 市 场 需求 提 
供 了 一 个 可 操作 的 范式 。 企 业 可 以 通过 社交 媒体 、 搜 索引 擎 方面 的 大 
数据 ， 截 取 与 目 身 产品 相关 的 个 人 信息 ， 帮 助 企业 开发 潜在 市 场 。 


(二 ) 小 数据 补充 大 数据 职能 


大 数据 的 潜在 能 量 很 大 ， 但 大 数据 不 能 取代 传统 数据 管理 的 需 
求 ， 也 不 能 取代 其 重要 性 。 无 论 对 个 人 人、 企业， 还 是 政府 ， 小 数据 都 
行使 者 重要 的 描述 性 职责 : 个 体 利用 小 数据 可 以 判断 在 不 同 领域 正在 
发 生 什么 ， 即 可 以 借 此 了 解 现状 。 例 如 ， 大 数据 无 法 代 蔡 小 数据 范 晓 
的 交易 型 和 结构 化 数据 及 其 系统 的 职能 。 从 这 个 角度 来 讲 ， 小 数据 能 
够 帮助 企业 理解 客户 并 做 出 更 好 的 决策 ， 补 充 大 数据 对 于 企业 经 营 的 
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(三 ) 大 数据 丰富 小 数据 前 景 


从 大 数据 中 得 到 规律 ， 再 用 小 数据 去 匹配 个 人 ， 将 会 是 一 种 更 为 
有 效 的 数据 运用 方式 。 大 数据 相对 于 小 数据 而 言 ， 数 据 量 大 ， 需 要 快 
速 做 出 反应 ， 注 重 的 是 包含 所 有 个 体 的 数据 ， 运 用 关联 规则 、 社 交 网 
络 、 用 户 细 分 〈 根 据 行为 ) 、 预 测 与 预警 等 分 析 方 法 来 展现 技术 与 数 
据 之 间 的 关系 。 大 数据 在 归纳 总 结 ， 提 到 特 征 并 进行 决策 预测 方面 有 
着 小 数据 无 法 媲美 的 优势 。 这 些 优势 可 以 丰富 小 数据 的 前 景 。 小 数据 
采集 的 是 以 个 体 为 中 心 的 全 方位 数据 ， 进 行 对 个 体 的 量化 摘 述 和 完善 
服务 ， 如 采 结 合 以 大 数据 分 析出 的 规律 结果 为 基础 ， 则 能 够 更 加 精准 
地 打造 个 性 化 产品 和 服务 ， 进 而 推动 决策 。 


(四 ) 大 数据 时 代 下 的 小 数据 视野 


300 多 年 前 ， 英 国 约克 大 学 统计 学 家 约翰 : 格 朗 特 (John Graunt) 
采用 样本 分 析 法 推算 出 豆 疫 时 期 伦 臻 的 人 口 数 ， 这 种 方法 就 是 后 来 的 
统计 学 。 这 个 方法 不 需要 一 个 人 一 个 人 地 计算 ， 而 是 利用 少量 有 用 的 
样本 信息 来 获取 人 口 的 整体 数据 。 在 收集 数据 和 分 析 数 据 都 不 容易 
时 ， 随 机 采样 区 成 为 应 对 信息 采集 困难 的 办 法 ， 并 在 当时 取得 了 巨大 


的 成 功 ， 成 了 现代 社会 、 现 代 测 量 领 域 的 主心骨 。 通 过 收集 随机 样 
本 ， 人 们 可 将 其 用 于 公共 部 门 和 人 口 普 查 ， 甚 至 用 于 商业 领域 监管 商 
品质 量 。 随 机 采样 可 以 被 称 为 传统 的 小 数据 视野 。 


不 过 ， 在 传统 的 小 数据 视野 下 ， 随 机 采样 有 较 大 的 漏洞。 传统 观 
点 下 ， 随 机 采样 是 在 不 可 收集 和 分 析 全 部 数据 的 情况 下 的 无 奈 选 择 ， 
因此 这 种 方法 下 的 调查 结果 缺乏 延展 性 ， 即 调查 得 出 的 数据 不 可 以 被 
重新 分 析 以 实现 计划 以 外 的 目的 。 


如 今 在 大 数据 时 代 下 ， 计 算 和 制 表 不 再 像 过 去 那样 困难 。 感 应 
顷 、 手 机 导航 、 网 站 点 击 和 社交 网 络 被 动 地 收集 了 大 量 数据 ， 而 计算 
机 可 以 轻易 地 对 这 些 数据 进行 处 理 。 当 我 们 可 以 获得 海量 数据 时 ， 传 
统 的 以 随机 采样 技术 为 核心 的 小 数据 视野 就 应 该 被 抛弃 吗 ? 不 ， 恰 恰 
相反 ， 此 时 的 小 数据 视野 应 该 在 随机 采样 的 基础 上 得 到 新 的 修正 。 在 
海量 数据 得 到 广泛 应 用 的 同时 ， 小 数据 主要 承担 个 体 的 差异 性 、 个 性 
化 反馈 ， 通 过 获取 人 的 情 绕 、 思 想 、 价 值 观 以 及 那些 无 法 被 大 数据 捕 
捉 的 环境 数据 、 微 观 经 济 行为 数据 的 数据 语义 ， 从 而 帮助 人 类 更 加 深 
刻 、 精 准 地 认识 世界 、 理 解 世界 。 


二 、 数 据 本 无 大 小 


(一 ) 大 数据 之 大 : 数据 量 大 ， 分 析 方 法 众多 


当 说 到 大 数据 的 “大 ”时 ， 我 们 指 那 些 在 数量 、 种 类 和 速度 三 个 维 
度 的 任何 一 个 维度 上 都 很 “大 ”的 数据 集 。 


数量 (Volume) 大 意味 着 分 析 师 在 矩阵 或 者 表格 中 处 理 结构 化 数 
据 时 ， 数 据 矩 阵 可 能 包含 数 以 百 万 计 甚 至 数 以 亿 计 。 将 更 多 的 行 加 入 
分 析 数 据 集中 会 对 分 析 产 生 截 然 不 同 的 影响 。 改 善 预测 模型 效 采 最 有 
效 的 方法 是 加 入 具有 信息 价值 的 新 变量 ， 这 号 使 得 大 数据 在 分 析 中 不 
断 加 入 新 的 变量 以 寻求 最 优 的 模型 效果 。 


种 类 (Variety) 多 意味 着 所 处 理 的 数据 不 仅仅 是 矩阵 或 表格 形式 
的 结构 化 数据 。 大 数据 时 代 下 ， 越 来 越 多 的 人 认识 到 了 社交 网 络 动 
态 、 医 疗 服务 提供 者 记录 、 社 会 巡 体 评论 等 海量 非 结构 化 数据 的 显著 
价值 。 这 意味 看 在 大 数据 分 析 中 ， 构 建 模型 的 影响 因素 大 大 增加 了 。 


速度 《Velocity) 在 两 个 方面 影响 预测 分 析 数据 源 和 目标 。 流 数 
据 一 一 一 个 随时 间 延 续 而 无 限 增 长 的 动态 数据 集合 ， 例 如 赛车 的 遥测 
或 者 医院 ICU (重症 加 强 护理 病房 ) 监控 设备 的 实时 反馈 ， 必 须 使 用 
特殊 的 技术 来 采样 和 观测 数据 流 ， 这 些 技术 将 连续 的 数据 流转 换 成 一 
个 独立 的 时 间 序 列 以 便于 分 析 。 

大 数据 在 这 三 个 维度 上 的 “庞大 ”数据 集 也 促成 了 在 大 数据 技术 中 
百花 齐 放 的 分 析 方 法 。 大 数据 的 预测 分 析 技 术 主 要 包括 两 类 : 统计 方 
法 和 机 右 学 习 。 具 体 分 类 如 图 2-1 所 示 。 


参数 估计 


假设 检验 
统计 方法 相关 分 析 
回归 分 析 


时 间 序 列 分 析 


ve . 回归 问题 : 线性 回归、 逻辑 回归 、 
大 数据 的 分 析 方 法 强化 回归 、 生 存 分 析 等 


分 类 问题 : 支持 向 量 机 等 
分 类 、 回 归 问 题 : 决策 树 等 
训练 学 习 : 传统 神经 网 络 


有 监督 学 习 


机 器 学 习 
一 异常 检测 


聚 类 

天 学习 < 贝 叶 斯 网 络 

文体 挖掘 、 图 与 网 络 分 析 
深度 学 习 


~ 降 维 


图 2-1 大 数据 的 分 析 方 法 


此 外 ， 大 数据 的 “大 ”还 体现 在 其 计算 的 “庞大 ”上 。 云 计算 和 大 数 
据 束 像 一 枚 硬币 的 正 反 面 一 样 蜜 不 可 分 。 大 数据 必然 无 法 用 单 台 的 计 
算 机 进行 处 理 ， 它 必须 采用 分 布 式 计算 架构 。 它 的 特色 在 于 对 海量 数 
据 的 挖 气 ， 但 它 必 须 依托 云 计算 的 分 布 式 处 理 、 分 布 式 数据 库 、 云 存 
储 和 虚拟 化 技术 。 云 计算 的 核心 技术 水 乎 既 能 够 推动 大 数据 前 行 ， 也 
能 制约 大 数据 的 发 展 。 

企业 和 机 构 要 想 利用 大 数据 实现 更 大 的 业务 价值 ， 需 择 取 最 适合 
的 分 析 方 法 和 平台 。 大 数据 之 “大 ”， 可 能 成 为 企业 制胜 的 “核武 侨 ”， 
也 可 能 成 为 企业 桶 亡 的 “ 达 摩 克利 斯 之 剑 ”。 


(二 ) 大 数据 之 小 ， 具 有 一 定 的 普 裔 性， 微观 个 
体 差 异 表现 不 显著 


号 大 数据 本 身 而 言 ， 仪 仅 古 增加 了 一 些 在 具体 领域 的 成 功 机 会 ， 
里 然 大 数据 提供 了 丰富 的 信息 资源 ， 但 我 们 必须 问 这 样 一 个 问题 ， 大 
数据 束 是 好 数据 吗 ? 确实 ， 利 用 大 数据 分 析 得 出 正确 结论 或 不 断 逼 近 
准确 结果 的 例子 已 经 不 少 。 例 如 ， 合 歌 对 流感 暴发 的 快速 预测 ， 合 歌 
翻译 ， 等 等 。 然 而 ， 大 数据 所 呈现 的 某 些 趋势 或 规律 只 是 信息 重复 的 
结果 ， 是 经 验 的 电子 化 记录 ， 其 本 映 是 机 械 的 、 死 板 的 ， 其 预测 分 析 
结果 的 准确 性 取决 于 数据 的 质量 和 规则 的 制定 。 从 这 个 角度 看 ， 大 数 
据 又 展现 出 了 其 局 限 性 。 


首先 ， 大 数据 zx 全 数据 。 从 整个 社会 层面 来 看 ， 任 何 机 构 与 市 场 主 
体 获 得 的 都 只 是 某 个 横 截 面 上 的 大 数据 。 即 便 是 截面 大 数据 ， 也 只 是 
局 部 数据 。 以 消费 品 领域 为 例 ， 我 们 如 何 获得 请 费 者 购买 某 一 品牌 消 
费 品 的 “全 数据 ” 即便 实现 了 所 有 电子 商务 网 站 数据 的 共 重 ， 但 国内 
电子 商务 只 占 社 会 零售 总 额 的 20% 左 右 ， 线 下 数据 如 何 获得 ?此 外 ， 
由 于 商业 利益 、 数 据 标准 各 异 等 原因 ， 不 公开 、 难 共 至 最 终 使 数据 割 
裂 存在 于 封闭 式 的 围墙 内 。 大 家 能 访问 到 、 疏 虫 能 聆 到 、 搜 索引 擎 能 
检索 到 的 数据 较 少 ， 绝 大 多 数 孤 立 存 在 的 点 数据 还 在 上 暗黑 之 海里 。 

其 次 ， 大 数据 分 析 z 海 量 数据 分 析 。 很 多 行业 将 大 数据 分 析 与 海量 
数据 分 析 直 接 对 等 ， 这 古 不 居间 的 。 因 为 大 数据 和 海量 数据 的 诉求 并 
不 相同 : 人 海量 数据 分 析 具 有 了 明确 的 分 析 目 标 ， 而 大 数据 是 在 分 析 中 
寻找 目标 ， 人 @) 海 量 数据 分 析 注重 获取 因果 关系 ， 而 大 数据 更 注重 寻找 
关联 性 、 发 现 未 知 知识 ，(3) 海 量 数据 分 析 退 求 一 个 精确 的 结 宁 ， 而 大 
数据 布 望 快速 寻找 到 可 接受 的 解 。 因 此 ， 大 数据 虽然 “大 ”， 其 结 采 也 
具备 一 定 的 普 适 性 ， 但 其 缺乏 针对 性 和 精准 性 ， 并 没有 充分 挖掘 出 海 
量 数据 的 潜力 。 对 于 个 体 发 展 来 说 ， 似 乎 有 点 大 材 “ 小 ”用 了 。 


(三 ) 小 数据 之 大 : 任何 数据 都 是 从 一 个 开始 收 
集 的 ， 涉 及 范围 广 


其 实 ， 大 、 人 小 数据 之 间 并 无 明显 的 界限 。 再 大 的 数据 也 是 人 们 一 
扩 一 满 聚 沙 成 才 L、 集 腋 成 琢 的 。 没 有 小 数据 的 积 少 成 多 、 百 川 归 海 ， 
大 数据 也 是 无 源 之 水 、 无 本 之 木 。 前 面 我 们 分 析 了 小 数据 之 美和 大 数 
据 之 “小 *， 小 数据 可 以 用 来 解决 和 补充 大 数据 面临 的 窒 境 ， 拉 近 大 小 
数据 的 距离 ， 见 微 知 闭 ， 共 同 领略 数据 之 美 。 

首先 ， 在 不 可 能 获得 全 量 数据 的 现实 下 ， 随 机 抽样 调查 是 洞察 全 
体 的 最 有 效率 的 选择 。 由 于 大 数据 对 于 数据 的 清洗 有 天 然 劣 势 ， 其 信 
轧 密 度 较 低 。 因 此 ， 大 数据 是 贫 矿 ， 投 入 产 出 比 未 必 优 于 小 数据 。 从 
这 个 角度 来 看 ， 小 数据 因为 其 "小 ”“ 细 ”“ 精 ?而 有 大 用 处 。 


其 次 ， 小 数据 更 适合 解决 数据 共 至 难 的 问题 。 在 数据 孤岛 的 前 提 
下 ,一 个 主体 有 了 大 数据 ， 往 往 更 愿意 局 限于 目 己 的 数据 库 来 进行 各 
种 分 析 。 还 是 以 消费 品 领 域 为 例 ， 购 物 相 关 的 电 商 如 Amazon 〈《 亚 马 
还 ) 、 淘 宝 、 泵 东 、 唯 品 会 、 限 美 优 品 等 都 在 浴血 奋战 、 寻 找 自 身 的 
荆 异 化 部 搜 战 略 。 他 们 将 所 谓 的 大 数据 技术 运用 在 自己 体系 内 部 实现 
智能 推荐 、 信 用 评分 系统 ， 实 际 上 是 一 种 “大 为 小 用 ”的 小 数据 的 运用 
(运用 大 数据 技术 形成 的 各 种 数据 对 于 电 商 平台 来 说 是 自身 核心 竞争 
力 的 一 个 组 成 部 分 ， 是 了 解 自 身 发 展 的 小 数据 ) 。 并 且 ， 他 们 从 中 获 
益 民 多 。 也 就 古 说 ， 昌 然 由 于 利益 氏 动 他 们 不 去 做 数据 共 圣 ， 但 是 他 
们 通过 小 数据 把 体系 内 部 的 客户 运营、 服务 流程 优化 提升 了 ， 也 能 
效 地 增加 客户 笑 性 。 事 实 上 ， 小 数据 并 不 能 打破 数据 关岛， 但 却 可 以 
使 每 个 数据 孤岛 成 长 为 差异 化 的 “风景 区 *， 更 好 地 服务 于 “ 岛 上 ”的 居 
民 和 前 来 放松 的 游客 (用户) 。 因 此 ， 对 于 个 人 、 企 业 来 说 ， 更 容易 
操作 的 、 更 有 价值 的 见解 更 有 可 能 强 含 于 小 数据 中 。 


当然 ， 随 看 时 代 的 发 展 ， 数 据 抓 岛 早 晚 要 变 成 一 斤 数 据 的 海洋 ， 
小 数据 在 尽职 尽责 发 展 * 岛 上 ?事业 的 同时 ， 目 号 积累 的 数据 体 量 也 会 


越 来 越 大 ， 目 然 会 发 出 “路 界 经 营 ” 的 数据 诉求 。 比 如 我 们 现在 看 到 
的 : 做 电 商 的 想 做 社交 ， 做 社区 的 想 做 电 商 ， 做 线 上 的 想 做 线 下 ， 做 
流量 入 口 的 想 做 O02O 〈 线 上 到 线 下 ) .………. 这 些 兼 并 重组 会 让 小 数据 一 
步 步 成 长 为 具有 更 大 社会 价值 的 数据 资源 。 


(四 ) 小 数据 之 小 : 具有 个 体 的 针对 性 ， 求 同 存 


[ef 
本 


相对 于 大 数据 来 说 ， 小 数据 体积 小 、 易 于 快速 理解 ， 数 据 的 读 取 
分 析 和 处 理 都 相对 简单 。 传 统 的 小 数据 是 以 “< 人力 为 主 ， 机 器 为 辅 " 的 
运行 模式 ， 在 数据 的 采集 、 存 储 、 传 输 和 处 理 中 大 量 依赖 人 力 资 源 。 
如 今 的 小 数据 慢 慢 成 长 为 以 “机 需 为 主 ， 人 力 为 辅 ?的 运行 模式 ， 各 种 
传 感 设备 和 智能 设备 成 为 数据 采集 、 存 储 、 传 输 和 处 理 的 主体 ， 人 力 
只 在 模型 设计 、 参 数 设 置 、 编 辑 矫正 等 环 下 发 挥 作用 。 因 此 小 数据 能 
够 在 采集 个 体 全 局 数据 的 同时 更 加 充分 地 洞察 个 体 的 异 质 性 。 全 局 数 
据 不 同 于 全 部 数据 ， 在 任何 体系 内 的 数据 抽取 和 议 积 都 只 能 是 客观 世 
界 的 映像 ， 是 客观 世界 的 一 部 分 ， 而 不 是 全 部 。 全 局 数据 意味 着 在 不 
打破 所 有 体系 的 情况 下 对 系统 内 部 的 数据 进行 处 理 和 学 习 。 


小 数据 的 全 局 观 是 : 针对 具体 问题 进行 个 性 化 处 理 ， 侦 重 于 理解 
数据 与 基本 事实 之 间 的 逻辑 关系。 小 数据 使 人 类 行为 摆脱 了 对 经 验 的 
依赖 ， 人 类 决策 由 主观 性 开始 走 癌 客 观 性 ， 是 人 类 智慧 对 绽 昧 的 一 次 
重要 胜利 。 随 着 数据 采集 技术 、 存 储 技术 、 传 输 技术 、 处 理 技术 和 安 
全 技术 的 全 面 创新 ， 小 数据 也 能 学 习 ， 也 能 复杂 化 ， 其 远 比 我 们 想象 
的 要 强大 。 小 数据 对 系统 内 部 全 局 数据 的 采集 和 欣 握 将 会 更 加 聪慧 ， 
再 结合 各 项 狐 技 术 加 以 综合 运用 ， 小 数据 将 大 展 宏图 。 


三 、 大 小 相得益彰 


(一 ) 见 微 知 著 


在 数据 的 江湖 里 ， 既 有 波澜 壮阔 的 大 数据 ， 也 有 细 流 涟 注 的 小 数 
所 ， 二 者 相辅相成 ， 才 能 相映 生 辉 。 美 国电 子 电 气 工程 师 协 会 会 
中 国 科学 院 计算 技术 研究 所 研究 员 风 应 骅 曾 表示 : 目前 大 数据 流行 ， 
人 们 束 “ 言 必 称 大 数据 *， 这 不 古 做 学 问 的 态度 ， 不 要 碰 到 大 量 的 数 
据 ， 束 给 它 戴 上 一 项“ 大 数据 ”的 帽子 。 我 们 对 此 深 表 赞同 ， 大 数据 体 
现 出 规律 ， 小 数据 绥 仿 着 镶 慧 ， 它 们 都 内 炮 着 理想 之 光 ， 它 们 的 适用 
也 都 是 有 一 定 的 条 件 的 。 

人 类 已 经 清醒 地 意识 到 ， 大 数据 、 大 未 来 的 风潮 正在 局 卷 各 行 各 
业 ， 改 变 着 人 类 生活 的 方式 和 观念 。 和 警察 可 以 通过 犯 徘 数 据 和 社会 信 
思 来 预测 犯罪 率 ， 科 学 家 可 以 通过 遗传 数据 预测 疾病 的 早期 迹 舟 .…… 
我 们 通过 一 个 详细 的 例子 来 说 明 大 数据 与 小 数据 所 解决 的 问题 。 


大 数据 将 改变 当代 医学 ， 大 数据 和 物 联网 的 组 合 更 是 将 医学 变 草 
的 速度 提升 了 一 个 档 位 。 如 基因 组 学 、 蛋 日 质 组 学 、 代 谢 组 学 等 。 但 
征 ， 同 时 我 们 清醒 地 意识 到 ， 由 个 人 数字 跟 踩 驱动 的 小 数据 ， 也 将 为 
个 人 医疗 翻 开 靳 新 的 一 章 ， 特 别 是 当 可 穿戴 设备 更 成 熟 后 ， 移 动 技术 
将 可 以 连续 、 安 全 、 私 人 地 收集 并 分 析 你 的 个 人 数据 ， 这 将 包括 你 的 
工作 、 购 物 、 有 睡觉、 吃饭 、 锻 炼 和 通信 ， 妃 踪 这 些 数据 将 得 到 一 幅 只 
属于 你 的 健康 自画像 。 

假设 你 古 一 名 患者 ， 这 样 精确 而 个 体 化 的 小 数据 也 许可 以 帮助 你 
回答 : 每 次 服药 应 该 用 怎样 的 剂量 ? 当然 药物 说 明 书 上 会 有 一 个 用 药 
和 导 ， 但 那个 数值 是 基于 大 量 病人 的 海量 数据 统计 分 析 得 来 的 ， 它 适 


不 适合 此 时 此 刻 的 你 呢 ? 于 是 ， 你 台 需 要 了 解 关 于 你 目 己 的 小 数据 。 
再 比如 癌症 治疗 ， 肿 瘤 细 胞 的 DNA 对 不 同 的 癌症 病人 会 引起 不 同 变 
化 。 所 以 ， 对 许多 患者 用 同一 个 治疗 方法 古 不 可 能 成 功 的 。 个 性 化 或 
者 说 层次 式 的 药物 治疗 是 按照 特定 患者 的 条 件 开 出 药方 一 一 不 是 “对 证 
下 药 ”， 而 是 “对 人 下 药 ”。 这 些 个 性 化 的 治疗 都 需要 记录 和 分 析 个 人 行 
为 随时 间 变 化 的 规律 。 这 束 是 小 数据 的 意义 。 

目前 ， 各 行 各 业 碰 到 的 数据 处 理 多 数 还 是 “小 数据 ”问题 。 不 管 是 
大 数据 还 是 小 数据 ， 我 们 应 该 敞开 思维 ， 研 究 实 际 问题 ， 切 忌 空 谈 ， 
精准 定位 碰 到 的 数据 业务 问题 。 以 应 用 而 非 以 技术 为 导向 ， 不 要 盲目 
追逐 焦点 技术 。 以 企业 管理 为 例 ， 不 要 指望 大 数据 能 够 拯救 一 家 即将 
倒 团 的 企业 ， 不 要 指望 大 数据 能 够 弥补 企业 的 管理 不 完善 造成 的 失 
误 ， 也 不 要 指望 大 数据 能 修复 已 经 误 败 的 企业 文化 。 大 数据 是 站 在 高 
扩 统 扒 全 局 的 ， 古 具有 前 脆性 的 作战 总 指挥 官 ， 而 不 是 在 前 线 筹 谋 全 
局 、 辟 旗 斩 将 的 英勇 将 军 。 

当然 ， 这 并 不 是 说 大 数据 在 解决 问题 中 就 不 重要 。 我 们 认为 ， 大 
数据 与 抽样 小 数据 在 数据 时 代 具 备 不 同 的 优 和 劣势 ， 大 数据 面 同 数据 ， 
部 分 全 和 覆盖 ， 实 时 敏感 ， 数 据 产 存在 偏差， 小 数据 面向 个 体 需 求 ， 样 
本 细 市 清晰 ， 学 习 周 期 较 长 。 应 该 说 ， 两 者 属于 两 个 不 同 施 晓 的 概 
念 ， 两 者 之 间 不 十 三 覆 与 被 颠覆 、 兰 代 与 被 蔡 代 的 下 对 关系 ， 而 是 相 
互 融合 、 相 互补 充 的 伙伴 关系 。 

大 数据 从 宏观 层面 加 速 了 科学 研究、 产业 创新 、 行 业 融 合 的 步 
伐 ， 非 常 适合 数据 采集 标准 统一 、 共 至 度 高 、IT 技 术 水 平 发 达 的 行 
业 ， 如 金融 科技 前 沿 理 论 、 无 人 驾驶 汽车 或 飞机 、 高 精 尖 医疗 技术 理 
论 、 人 工 智能 理论 等 ， 进 行规 范 的 数据 整合 、 挖 掘 ， 能 够 大 大 缩短 人 
们 认识 某 项 新 鲜 事 物 所 需 的 时 间 ， 其 对 于 技术 和 理论 的 草 新 、 国 家 经 
济 的 发 展 是 必 不 可 少 的 。 而 现在 的 小 数据 则 结合 了 大 数据 中 运用 的 分 
析 方 法 ， 加 以 精简 ， 从 男 外 一 个 角度 对 数据 的 本 体 进 行 更 加 深入 的 了 
解 。 小 数据 通过 不 断 的 学 习 ， 能 从 微观 层面 上 理解 个 体 的 行为 和 环境 


的 变化 ， 逐 渐 成 为 个 体 生 产生 活 的 一 个 好 帮手 。 它 不 关注 规律 的 探 
索 ， 而 专 广 对 个 体 变化 的 感知 ; 它 不 渔 求 标准 的 数据 ， 而 沉浸 于 对 个 
体 输出 的 学 习 ， 它 不 想 成 为 一 个 庞 灯 数据 的 分 析 机 器 ， 它 的 理想 是 与 
个 体 一 道 长 大 ， 成 为 与 个 体 之 魂 相 眉 合 的 知音 。 

在 未 来 ， 经 济 将 不 再 由 石油 驱动 ， 而 由 数据 驱动 。 数 据 对 各 行 各 
业 音 命 性 的 影响 已 经 显现 ， 而 唯 有 大 小 数据 融合 ， 才 能 将 数据 的 魅力 
发 挥 到 极致 。 一 部 《纸牌 屋 》 让 电视 媒体 与 流 媒 体 视频 行业 知晓 了 大 
数据 应 用 的 威力 ， 从 用 户 数据 挖掘 出 用 户 喜欢 的 视频 风格 、 内 容 风 
格 、 导 演 和 演员 等 ， 成 惑 了 互联 网 时 代 的 内 容 制作 新 典范 ， 一 家 老牌 
财经 媒体 《金融 时 报 》 通 过 大 数据 分 析 读 者 的 需求 ， 为 其 提供 个 性 化 
的 信息 ， 于 是 实现 用 户 的 付费 阅读 ， 开 尽 了 全 新 的 商业 鳃 利 模式 .….…… 
而 在 未 来 ， 攒 借 智 能 设备 的 进一步 成 熟 应 用 ， 这 些 信息 将 会 成 为 小 数 
据 系 统 中 实时 更 新 的 知识 库 的 一 部 分 ， 并 为 其 所 用 。 从 大 数据 得 到 规 
律 ， 用 小 数据 去 匹配 个 人 ， 更 好 地 反馈 到 人 机 互动 的 进程 中 。 


人 


美国 著名 科技 历史 学 家 梅 尔 文 : 克 兰 效 伯 格 ( Melvin 
Kranzberg) ， 曾 提出 大 名 间 思 的 科技 六 定律 ， 其 中 第 三 条 定律 是 这 样 
的 : “技术 总 是 配套 :而 来 的 ， 但 这 个 ' 套 ' 有 大 有 小 (Technology comes 


in packages, big and small) 。” 


这 个 定律 用 在 当下 非常 应 景 。 因 为 ， 我 们 正 步 入 一 个 “大 数据 ”时 
代 ， 但 对 于 以 往 的 “小 数据 *”， 我 们 能 做 到 “ 事 了 指 衣 去 ， 深 藏 号 与 
名 ” 吗 ? 答案 显然 不 能 。 目 前 ， 大 数据 的 前 途 似乎 “星光 灿烂 >»， 但 小 数 
据 的 价值 依然 “风采 无 限 ”。 元 兰 效 伯 格 的 第 三 定律 告诉 我 们 ， 新 技术 
和 老 技 术 的 上 自我 章 新 演变 是 交织 在 一 起 的 。 大 数据 和 小 数据 ， 它 们 “本 
套 而 来 >， 共同 勾画 数据 技术 (Data Technology) 时 代 的 未 来 。 


大 数据 已 被 舍 恩 伯 格 教授 、 涂 子 沛 先生 等 先行 者 及 其 追随 者 夸 得 
泛 小 成 灾 。 但 正如 我 们 所 知 ， 任 何事 情 都 有 两 面 性 。 在 众人 都 赞 大 数 
据 很 好 的 时 候 ， 我 们 也 需 分 析 一 下 大 数据 可 能 面临 的 陷阱 ， 只 是 为 了 
让 大 数据 能 走 得 更 稳 。 在 大 数据 的 光量 下 ， 当 小 数据 渐 行 渐 远 渐 无 
时 ， 我 们 也 聊 著 小 数据 之 美 ， 为 的 是 “大 小 并 行 ， 不 可 储 废 "。 大 有 大 
的 好 ， 小 有 小 的 妙 ， 如 同一 桌 菜 ， 哪 道 才 是 你 的 爱 ? 思量 几 番 再 下 
篇 。 

大 数据 的 多 样 性 ， 给 大 数据 分 析 带 来 了 庞大 的 力量 。 很 多 小 概 
率 、 大 影响 的 事件 ( 黑 天 禾 事 件 ) ， 在 单一 的 小 数据 环境 下 ， 很 可 能 
难以 被 发 现 。 但 是 由 “四 面 八方 ”汇集 而 来 的 大 数据 ， 却 能 有 机 会 提供 
更 为 深刻 的 洞察 。 例 如 ， 癌 症 属于 一 类 长 尾 病症 ， 经 过 多 少年 努力 ， 
癌症 治愈 率 仅 提升 了 不 到 8%。 其 中 一 个 重要 原因 是 ， 单 个 癌症 的 诊疗 
机 构 的 癌症 基因 组 样本 都 相对 有 限 。“ 小 样本 ”得 出 的 有 关 “ 瘤 症 诊 
断 " 的 结论 ， 极 有 可 能 是 “盲人 摸 象 式 ”的 。 


大 数据 的 多 样 性 ， 给 人 们 市 来 了 “ 兼 听 则 明 ” 的 智慧 。 然 而 ， 正 如 
英 谚 所 云 ,，“ 一 个 硬币 有 两面 (Every coin has two sides) ”， 多 样 性 也 
会 融 来 一 些 不 易 察 觉 的 “陷阱 ”。 用 ”成 也 戎 何 ， 败 也 痕 何 ”来 描述 大 数 
据 的 两 难 ， 再 恰当 不 过 了 。 

1989 年 ， 管 理学 家 罗素 . 艾 可 夫 (Russell L. Ackoff) 撰写 了 《从 数 
据 到 智慧 》 (From Data to Wisdom) 一 书 ， 系 统 地 构建 了 DIKW 体 
系 ， 即 数据 (Data) 、 信 息 (Information) 、 知 识 (Knowledge) 及 智 
臣 〈(Wisdom) 。DIKW 体 系 提出 对 数据 如 有 果 不 实施 进一步 的 处 理 ， 即 
使 收集 数据 的 容量 再 “大 ”， 也 嘱 无 价值 ， 因 为 仅仅 束 数 据 本 号 来 说 ， 
它们 是 “一 无 所 知 (Know-Nothing) ”的 。 数 据 最 大 的 价值 ， 在 于 形成 
信息 ; 次 成 若 误 。 力 至 升华 为 冰 巧 。% 

电子 科技 大 学 周涛 教授 认为 :“ 放 弃 对 因果 性 的 追求 ， 就 是 放弃 了 
人 类 凌 区 于 计算 机 之 上 的 智力 优势 ， 是 人 类 目 寻 的 放纵 和 咕 落 。 如 有 果 
未 来 某 一 天 机 妖 和 计算 完全 接管 了 这 个 世界 ， 那 么 这 种 放弃 就 是 末日 


之 始 。"? 对 大 数据 的 因果 性 和 相关 性 的 探讨 ， 和 是 人 类 惯 有 的 思维 ， 在 这 
个 惯性 思维 的 推动 下 ， 很 容易 误 把 “相关 ” 当 * 因 采 '" 一 一 这 是 我 们 需要 
警惕 的 大 数据 陷阱 。 

从 上 面 的 分 析 可 以 看 出 ， 大 数据 十 前 沿 ， 但 我 们 更 不 能 对 现状 熟 
视 无 睹 一 一 小 数据 依然 是 主流 。 目 前 大 多 数 公 司 、 企 业 其 实 仍 处 于 “人 小 
数据 ”处 理 阶 段 。 但 只 要 在 纵 癌 上 有 一 定 的 时 间 积 素 ， 在 横向 上 有 较 丰 
富 的 记 隶 细节， 通过 多 个 源头 对 同一 个 对 象 采 集 的 各 种 数据 进行 有 机 
整合 ， 实 施 合理 的 数据 分 析 ， 束 可 能 产生 大 价值 。 基 于 此 ， 我 们 认为 
在 大 数据 时 代 ， 绝 不 能 抛弃 “小 数据 ”。 对 精确 的 追求 ， 历 来 是 传统 的 
小 数据 的 强项 ， 这 在 一 定 程度 上 弥补 了 大 数据 的 “混杂 性 ?缺陷 。 犹 如 
有 人 句 歌 词 唱 的 那样 :“ 结 识 新 朋友 ， 不 起 老 朋 友 。” 在 大 数据 时 代 ， 我 
们 也 不 能 起 记 小 数据 。 大 数据 有 大 数据 的 力量 ， 小 数据 有 小 数据 的 
美 。 


四 、 打 通 数 据 孤岛 


小 数据 的 单独 存在 无 法 得 到 整体 的 规律 性 。 大 数据 的 单独 存在 会 
忽略 小 数据 的 特殊 性 。 

无 论 是 大 数据 ， 还 是 小 数据 ， 都 是 局 部 数据 ， 局 部 的 清晰 最 终 带 
来 的 是 类 似 “ 盲 人 摸 象 ” 的 效果 。 要 想 达 到 整体 清晰 ， 需 要 在 大 数据 的 
基础 上 获得 更 多 的 信息 。 一 种 方式 是 数据 与 数据 的 关联 对 接 ， 大 数据 
的 精髓 在 于 数据 是 关联 的 ， 跨 领域 关联 ， 通 过 一 加 一 产生 远大 于 二 的 
价值 。 而 考虑 到 异 源 大 数据 之 间 缺 乏 统 一 的 、 互 认 的 数据 规范 与 标 
准 ， 通 过 能 够 洞察 整体 的 小 数据 打通 大 数据 的 孤岛 ， 最 终 拼 成 一 个 清 
晰 的 画像 是 可 行 的 办 法 。 另 一 种 方式 就 是 在 “大 数据 ”中 随机 (或 用 其 
他 方法 ) 选取 部 分 样本 ， 对 这 些 顾客 进行 问卷 调查 ， 以 补充 数据 库 中 
缺失 的 信息 ， 然 后 通过 对 接 将 问卷 调查 的 信息 融入 全 体 数据 的 分 析 
中 。 天 气 预 报 技术 的 发 明成 功 融合 了 大 小 数据 的 理解 和 运用 ， 现 代 天 
气 预报 流程 如 图 2-2 所 示 。 
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图 2-2 天 气 预 报 制作 流程 


1916 年 ， 德 国人 理 查 森 (Lewis Fry Richardson) 党 斌 把 大 数据 化 
小 ， 把 整个 德国 的 天 气 分 割 成 纵横 交错 的 小 矩阵 。 这 样 每 个 矩阵 格子 
里 的 气候 条 件 及 其 对 城市 的 影响 就 显而易见 了 。 可 入 的 征 ， 碍 于 当时 
应 用 数学 的 发 展 ， 理 查 条 的 设想 破 严 了 。1950 年 ， 详 尔 曼 将 电脑 计算 
人 和 森 的 方法 整合 在 一 起 。 于 是 我 们 有 了 越 来 可靠 的 天 气 预报 。 

理 查 森 的 小 数据 价值 在 于 他 对 气候 现象 深刻 的 理解 ， 并 提炼 出 关键 要 
素 。 ee 运行 形势 和 方 
问 。 二 者 结合 ， 我 们 才 有 了 对 天 和 气 的 预报 能 


通过 小 数据 的 收集 得 到 大 数据 样本 ， 大 数据 分 析 样 本 得 到 宏观 规 
律 ， 然 后 再 用 小 数据 微观 更 正大 数据 未 考虑 的 个 体 差 异 ， 这 是 大 小 数 
据 融合 的 真 诺 。 而 若 想 从 根本 上 实现 大 小 数据 的 融合 ， 需 要 着 力 关 注 
数据 获取 、 数据 路 域 关 联 和 数据 深度 挖掘 三 个 方面 的 问题 。 


(一 ) 数据 精准 获取 


对 于 各 行 各 业 而 言 ， 一 个 可 以 预期 的 大 数据 模式 是 ， 在 统一 用 户 
数据 和 内 容 数 据 管理 的 基础 上 ， 将 不 同类 型 的 内 容 数据 抽取 、 分 析 、 
案 类 ， 依 据 不 同 介质 的 传播 特点 ， 把 合适 的 信息 及 时 准确 地 传递 给 需 
要 的 人 。 这 个 模式 的 前 所 是 ， 内 容 数据 以 及 用 户 数据 要 足够 丰 龟 。 大 
数据 解决 横 回 的 内 容 问 题 ， 实 现 数据 的 快速 挖掘 分 析 ， 小 数据 解决 纵 
深 的 内 容 问 题 ， 实 现 信息 与 个 性 化 需求 的 完美 匹配 。 


举 个 例子 ，2016 年 中 国 中 央 电 视 台 市 场 研 究 股份 有 限 公司 
(CTR) 曾 着 手 研 发 一 个 叫 “专属 社区 ”的 观众 用 户 化 模块 产品 。 其 设 
想 古 ， 借 鉴 “ 远 辑 思 维 ” 的 “协力 人 格 体 ”思维 ， 充 分 利用 电视 频道 、 栏 
目的 主持 人 、 嘉 宾 等 核心 要 素 品牌 ， 通过 PC (个 人 计算 机 ) 、 移 动 互 
联网 、 社 区 平台 等 一 切 可 能 的 沟通 渠道 ， 为 电视 频道 、 品 牌 栏目 招 葵 
几 万 、 几 十 万 的 忠实 观众 ， 并 与 之 建立 起 日 肖 化 、 实 时 化 的 交互 联 
系 ， 从 而 获取 电视 观众 的 ID (身体 证 明 ) ， 建 立 其 电视 频道 、 栏 目的 
专属 用 户 数据 库 。 在 与 观众 建立 起 日 前 化 、 实 时 化 的 交互 联系 之 前 的 
各 步 又， 都 是 大 数据 汲取 海量 信息 的 过 程 ， 而 当 其 开始 与 观众 交互 
时 ， 更 需要 每 个 ID 背 后 的 各 种 小 数据 。 大 数据 通过 采集 小 数据 系统 的 
言 妃 进行 更 加 精准 的 投放 ， 小 数据 也 可 以 通过 接收 大 数据 提供 的 区 目 
信息 来 丰富 目 身 数据 的 维度 。 


(二 ) 数据 跨 域 关联 


数据 只 有 跨 域 天 联 才 能 发 挥 最 大 的 价值 : 国家 电网 智能 电表 的 数 
据 和 地 产 数据 区 又 ， 可 以 用 于 估计 房屋 空置 率 ; 金融 数据 和 电 商 数据 
碰撞 在 一 起 ， 就 产生 了 像 小 微 贷 球 那 样 的 互联 网 金融 ， 电 信 数 据 和 政 
奉 数 据 相 遇 ， 可 以 产生 人 口 统计 学 方面 的 价值 ， 帮 助 城市 规划 人 们 居 
住 、 工 作 、 娱 乐 的 场所 ..…... 而 大 数据 与 小 数据 的 跨 域 天 联 ， 为 数据 孤 
岛 建 立 了 桥梁 。 


让 我 们 以 目 然 人 为 例 来 说 明 数 据 跨 域 天 联 的 实现 及 其 对 大 小 数据 
融合 的 作用 。 对 于 一 个 个 体 用 户 而 言 ， 他 既 要 看 电视 ， 叉 要 使 用 搜索 
引擎 查阅 资 料 ， 还 需要 聊 微 信 、 刷 微 博 ， 同 时 还 有 线 上 电子 商务 数 
据 ， 线 下 医保 、 社 保 等 数据 ， 以 及 交通 出 行 、 兴 趣 爱 好 等 数据 。 对 于 
小 数据 系统 来 说 ， 要 了 解 一 名 用 户 ， 这 些 数据 需要 关联 起 来 进行 处 
理 。 而 大 数据 在 做 什么 呢 ? 现在 大 数据 还 在 行业 层面 整合 所 有 这 些 行 
为 的 平台 数据 。 但 是 正如 我 们 前 面 提 到 的 ， 这 些 数据 目前 还 在 各 种 孤 
岛 上 漂泊 ， 无 法 “离岛 "进入 数据 海洋 ， 而 小 数据 使 之 变 成 了 可 能 。 通 
过 收集 以 上 所 有 行为 的 数据 ， 将 其 提供 给 大 数据 分 析 平 台 ， 将 能 够 使 
数据 实现 “离岛 出 海 * 的 愿望 。 图 2-3 所 示 的 是 一 个 理想 的 大 小 数据 跨 域 
关联 后 实现 的 对 行业 大 数据 的 刻画 和 描绘 。 在 此 过 程 中 ， 同 样 地 ， 小 
数据 否 想 收集 这 些 数据 ， 就 不 可 避免 地 要 使 用 大 数据 的 学 习 方法 和 分 
析 方 法 ， 从 而 更 快 、 更 全 面 、 更 准确 地 采集 、 提 取 数 据 及 其 语义 。 


T: 行业 大 数据 


汇总 计算 


Y: 未 知 大 数据 


抽样 调查 


图 2-3 小 数据 与 大 数据 关联 的 关系 范式 


(三 ) 数据 深度 控 拥 


数据 的 意义 不 仅 在 于 谁 掌 握 了 它 ， 更 在 于 通过 数据 能 够 发 现 什 
么 ， 能 人 否 准确 地 知道 你 干 过 什么 ， 将 会 干什么 。 这 便 是 数据 挖掘 能 
的 价值 。 对 于 深度 的 数据 挖掘 ， 时 下 有 两 种 对 立 的 态度 : 技术 主导 
派 ， 他 们 提出 “万 物 赂 数 "， 认 为 量化 数据 的 技术 在 决策 中 具有 举 足 轻 
重 的 作用 ; @ 技 术 为 辅 派 ， 他 们 认为 技术 是 服务 于 决策 体系 的 ， 不 应 
盲从 于 技术 ， 雁 大 其 价值 。 我 们 更 认同 技术 作为 辅助 手段 的 意义 和 作 
用 。 事 实 上 ， 数 据 的 深度 挖掘 是 人 类 用 来 量化 目 届 和 周围 环境 、 市 场 
变化 的 一 个 深入 浅 出 的 过 程 。 

虽然 数据 的 深度 挖掘 过 程 本 吴 朝 显 了 反 术 的 重要 性 ， 凝 结 了 大 量 
IT 开发 技术 人 才 的 心血 ， 但 是 扩 术 本 喘 是 服务 于 信息 的 。 信 息 回 有 深 
浅 之 分 ， 因 此 数据 也 有 “小 “大 ”之 分 ， 信 息 解 读 也 有 难 易 之 别 。 
此 ， 大 小 数据 的 深度 挖掘 技术 架构 应 各 目 有 其 侧重 点 ， 本 着 相互 补充 
的 目的 ， 彼 此 借鉴 ， 去 伪 存 真 ， 实 现 大 数据 与 小 数据 之 间 的 恨 性 互 
动 。 

用 小 数据 抵制 甚至 注视 大 数据 时 代 的 到 来 ， 是 逆 潮 流 而 动 的 掩 耳 
盗 铃 。 但 用 大 数据 时 代 来 否认 小 数据 的 价值 ， 是 对 大 数据 的 误 读 和 误 
解 。 只 有 大 、 人 小 数据 融合 ， 才 能 够 真正 地 实现 用 数据 说 话 ， 用 数据 决 
策 ， 用 数据 管理 ， 最 终 实 现 用 数据 创新 。 


一 、 智 能 无 处 不 在 


(一 ) 互联 网 时 代 


互联 网 是 网 络 与 网 络 之 间 所 串联 成 的 庞大 网 络 。 这 些 网 络 以 一 组 
通用 的 协议 相连 ， 形 成 逻辑 上 的 单一 且 巨 大 的 全 球 化 网 络 ， 使 用 互联 
网 可 以 将 信息 瞬间 发 送 到 千里 之 外 的 人 手中 ， 它 是 信息 社会 的 基础 。 


互联 网 具有 强大 威力 ， 对 国家 经 济 、 企 业经 营 和 个 人 生活 方式 产 
生 了 重大 影响 。 在 互联 网 1.0 时 代 ， 互 联网 是 企业 信息 网 状 化 生成 与 传 
播 的 工具 ， 其 功能 是 提升 营销 和 生产 效率 。 而 近年 来 “互联 网 +” 理 念 不 
断 强 调 实体 经 济 中 的 各 类 企业 需 充分 利用 互联 网 而 提高 竞争 力 ， 互 联 
网 来 到 了 2.0 时 代 ， 互 联网 彻底 实现 了 产业 结构 的 去 中 心 化 、 经 济 活动 
的 泛 数 据 化 、 社 会 生活 的 物 联 网 化 ， 它 已 经 不 再 单纯 是 企业 可 用 的 资 
源 ， 而 成 为 企业 能 力 的 衍生 。 互 联网 2.0 为 企业 带 来 了 四 种 新 能 力 : 中 
基于 云 计 算 、 社 会 计算 、 大 数据 分 析 等 新 一 代 IT 而 产生 的 信息 取得 和 
整合 能 力 ， 避 企业 与 消费 者 直接 互动 而 产生 的 市 场 感知 能 力 ; (3 企业 
言 恩 透 明 化 、 企 业 间 联系 数字 化 而 产生 的 关系 整合 能 力 ; (9 通过 对 移 
动 互联 网 超大 体 量 数据 的 实时 处 理 与 运用 而 产生 的 超前 预测 能 
即 “ 大 数据 + 大 计算 = 大 商机 ”。 这 些 能 力 帮 助 企 业 发 展 了 新 的 竞争 手段 
且 更 为 多 样 化 。 

由 此 可 见 , 今天 的 互联 网 并 非 价 单 的 “信息 传递 工具 ”"， 它 已 成 为 
企业 站 覆 传 统 价 值 创造 方式 ， 改 变 竞争 结构 的 利器 ， 以 互联 网 为 基础 
的 新 兴 企 业 颠 覆 了 强势 在 位 企业 的 市 场地 位 。 例 如 ， 蔷 果 公 司 宽 借 互 
联网 及 App Store (应 用 程序 商店 ) 击败 庞大 的 话 基 亚 帝国 ， 小 米 在 缺 


乏 核 心 技术 的 质疑 声 中 与 三 星 在 市 场 竞 争 中 不 相 上 下 ， ` 东 之 等 
行业 巨头 芝 然 倒 下 。 


(二 ) 物 联网 时 代 


福布斯 将 物 联网 (Internet of Things，IoT) 描述 为 连接 任何 具有 
开局 和 关闭 功能 的 设备 的 概念 。 物 联网 可 以 被 概括 地 摘 述 为 无 数 物 
体 、 动 物 甚至 人 与 互联 网 实现 的 无 线 连接 ， 这 些 “ 节 点 ”可 以 在 没有 人 
为 干预 的 情况 下 发 送 或 接收 信息 ， 继 而 通过 远程 智能 设备 进行 远程 智 
能 作业 ， 极 大 地 提高 了 人 类 生产 和 生活 的 效率 。 当 前 ， 物 联网 技术 已 
经 在 智能 电网 、 智 能 交通 、 智 能 农业 、 环 境 污染 监测 等 领域 推广 应 
用 。 物 联网 对 于 更 多 的 被 动 活动 采集 潜在 价值 的 数据 需要 的 作用 是 显 
洲 肝 ” 


举例 来 说 ， 一 位 廊 顾 客 在 超市 买 东西 时 拿 起 了 一 盒 奥 利 奥 饼干 ， 
似乎 在 阅读 它 的 营养 成 分 ， 之 后 决定 不 购买 ， 然 后 把 它 放 回 染 子 上 。 
以 往 ， 如 果 没 有 监控 设备 ， 束 不 太 可 能 采集 到 这 个 非 交 易 过 程 的 信 
息 。 而 现在 ， 设 想 一 下 在 一 个 低 成 本 的 射频 识别 (Radio Frequency 
Identification ， REFID ) 标签 、 传 感 器 、 近 场 通信 (Near Field 
Communication，NFC) 和 其 他 强大 技术 无 处 不 在 的 物 联网 世界 里 ， 这 
个 相同 的 场景 将 会 细 化 为 无 数 个 过 程 识别 步骤 : 她 读 了 包装 上 的 哪 一 
部 分 呢 ? 是 不 是 她 比 别 人 更 认同 上 面具 体 的 图 片 或 文字 内 容 ? 当 她 看 
到 含有 的 碳水 化 合 物 的 数量 时 ， 她 的 非 语 言 表情 有 哪些 ? 她 有 没有 看 
其 他 类 型 的 饼干 ? 她 看 了 多 久 ? 再 如 ， 想 象 “ 智 能 家 届 ” 设 备 ， 如 智能 
锁 ， 当 它 检测 到 你 的 手机 在 附近 时 ， 就 自动 解锁 ;或 者 在 检测 到 有 人 
在 移动 时 ， 目 动 开 灯 。 物 联网 技术 因为 这 些 数 据 的 获取 变 得 更 加 智 芒 
和 巧妙 。 


但 是 ， 安 全 问题 也 日 益 凸 显 。2015 年 ， 乌 克 兰 西部 的 一 个 电网 就 
遭 到 了 来 目 物 联网 网 络 的 攻击 破坏 ， 而 关于 无 人 光驱 汽车 遭遇 黑客 的 


研究 也 一 直 在 引发 人 们 的 关注。 未 来 几 年 ， 我 们 预测 监管 和 标准 化 将 
发 挥 更 大 作用 ， 物 联网 领域 的 安全 问题 可 能 有 新 动向 和 突破 。 


= 0 人 大王 各 能 


谷歌 公司 用 AlphaGo 〈 人 工 智 能 围棋 程序 ) 大 胜 围 棋 专 业 九 段 李 
世 石 、 柯 滞后 ， 人 工 知 能 已 经 从 最 原始 的 计算 智能 ， 发 展 并 突破 了 感 
知 智能 阶段 ， 来 到 了 认 知 智能 层面 。 它 给 全 球 科技 巨头 市 来 的 震撼 正 
在 迅速 昌 延 : 各 大 巨头 纷纷 公开 宣布 或 秘密 启动 人工 知 能 +” 战 略 ， 用 
人 工 入 能 改造 各 项 产品 和 服务 。 微 软 首 席 执 行 官 棋 蒂 亚 : 纳 德 拉 说 ， 继 
键盘 、 鼠 标 、 和 触摸屏 之 后 ， 能 理解 人 类 语言 、 实 现 人 机 互动 的 人 工 智 
能 目 动 程 序 ， 将 成 为 下 一 代 界 面 。 

人 工 智 能， 是 指 能 够 模拟 人 类 智能 活动 的 智能 机 硕 或 智能 系统 ， 
研究 领域 涉及 非常 广泛 ， 从 数据 挖掘 、 智 能 识别 到 机 天 学 习 、 人 工 窜 
能 平台 等 《如 图 3-1 所 示 ) 。 从 工程 学 的 角度 来 看 ， 可 以 把 人 工 智能 理 
解 为 : 可 以 从 环境 中 感知 信息 并 目 主 活动 的 软件 和 硬件 实体 。 人工 智 
能 必须 具备 以 下 几 个 功能 : 人 能 感知 环境 ;，@ 有 学 习 机 制 ; 人 具备 知 
识 库 ; (有 决策 能 力 ， 即 通过 新 知识 学 习 和 知识 库 之 间 的 交互 来 进行 
决策 ， 决 策 包 括 了 推理 、 预 测 、 规 划 等 行为 ， 所 以 决策 是 一 个 非常 复 
杂 的 过 程 ; 包 有 执行 器 ， 即 通过 行动 影响 环境 ;人 @@ 有 评价 指标 ， 即 机 
堪 学 习 不 能 是 随机 学 习 ， 必 须 有 一 个 方向 ， 这 种 方 同 通过 评价 指标 实 
现 ， 它 们 的 专业 名 称 叫 作 “激励 画 数 或 处 昼 函 数 ”"， 机 器 束 是 通过 不 同 
的 奖惩 机 制 来 进行 学 习 的 。 


图 3-1 简化 逻辑 下 的 人 工 智能 模型 


人 工 智 能 已 成 为 全 球 新 一 轮 科 技 半 命 和 产业 变革 的 着 力 点 ， 是 一 
片 级 藏 无 限 生 机 的 产业 新 蓝海 ， 我 们 预测 2020 年 将 迎 来 AI 的 爆发 ， 人 
工 智能 将 在 卫生 保健 、 汽 车 、 金 融 服务 、 运 输 和 物流 、 技 术 通 信 及 娱 
乐 、 和 零售、 能源、 制造 业 等 行业 均 有 不 同 程度 的 影响 力 。2017 年 ， 我 
们 看 到 亚马逊 的 Alexa 已 经 能 够 以 眼 人 对 话 的 方式 表现 人 工 智能 ， 而 现 
在 ，Alexa 已 经 进入 了 超过 五 百 万 个 家 庭 。 你 可 以 同 Alexa 询 问 天 气 ， 
或 让 Ta 帮 你 叫 车 等 。 这 意味 着 ，AI 已 经 进入 主流 用 户 的 实际 应 用 阶 
段 o 


未 来 ，5G 移 动 互联 网 将 以 全 新 的 网 络 速 度 、 无 颖 的 网 络 ， 推 
动 “ 弱 人 工 闹 能 ”应 用 间 广 泛 连 返 ， 知 能 行为 直 布 整 体 社会 环境 ， 实 现 
真正 意义 上 的 万 物 互联 ， 迈 癌 “ 强 人 工 智能 ”时代 。 人 工 智 能 将 在 技术 
上 更 迅猛 地 发 展 ， 在 智能 语音 、 知 能 图 像 、 目 然 语言 处 理 、 深 度 学 习 
等 技术 上 越 来 越 成 熟 ， 并 将 越 来 越 多 地 在 目 动 芝 驶 、 特 殊 环 境 下 的 目 
主机 器 人 等 涉及 国家 或 行业 的 核心 需求 方面 得 到 应 用 ， 会 让 更 智能 化 


的 半 目 主 或 目 主 系统 的 集群 能 力 不 断 得 到 提升 ， 成 为 国家 创新 创业 的 
核心 驱动 力 。 


二 、 智 能 产品 到 嵌入 程序 


智能 产品 的 发 展 脉络 大 致 已 走 过 了 三 个 阶段 。 第 一 阶段 ， 是 简单 
联网 阶段 ， 如 智能 水 杯 、 客 能 插座 等 ， 它 们 只 具备 联网 功能 ， 实 现 简 
单 的 远程 操控 功能 ， 产 品 偏向 于 概念 操作 。 第 二 阶段 ， 是 超级 App 阶 
段 ， 通 过 智能 产品 与 终 病 舱 入 程序 相 结 合 实现 知 慧生 活 。 超 级 App 是 
一 个 开放 的 智能 家 届 损 作 平 台 ， 多 个 智能 产品 通过 一 个 App 来 控制 ， 
如 小 米 的 智能 家 届 “。 但 智能 产品 有 上 千 甚 至 上 万 个 品牌 ， 超 级 App 不 
可 能 将 所 有 的 智能 产品 都 关联 起 来 。 第 三 阶段 ， 是 语音 手势 控制 阶 
段 ， 如 智能 语音 灯 、 手 势 及 语音 控制 的 智能 音 啊 ， 语 音 和 手势 控制 把 
人 们 从 App 操 作 智 能 产品 的 束缚 中 解放 出 来 ， 使 体验 进一步 优化 ， 如 
Google Home、Amazon Echo 智 能 家 大 设备 就 可 以 通过 语 首 实现 控制 家 
庭 设 备 。 


(一 ) 智能 家 居 


1997 年 ， 微 软 忌 裁 比尔 :- 盖 次 的 私人 桶 宅 一 一 “未 来 之 家 ”经 过 七 年 
时 间 终 于 建成 。“ 未 来 之 家 ”耗费 巨 资 ,铺设 了 52 英 里 ( 约 为 84 公 里 ) 
长 的 电缆 ， 房 内 所 有 电 需 设备 连接 成 一 个 绝对 标准 的 家 庭 网 络 ， 室 内 
每 间 房 都 使 用 触摸 感应 絮 控 制 照明 、 首 乐 、 室 温 、 灯 光 等 。 


智能 家 居 (Smart Home) 是 以 住宅 为 平台 ， 兼 具 建 筑 设备 、 网 络 
通信 、 信 息 家 电 和 设备 自动 化 ， 集 系统 、 结 构 、 服 务 、 管 理 为 一 体 的 
高 效 、 安 全 、 人 便利、 环保 的 居住 环境 。 知 能 家 居 是 计算 机 技术 、 网 络 
技术 、 控 制 技术 回 传 统 家 届 渗 透 发 展 的 必然 结果 。 随 着 智能 家 届 技 术 
的 成 熟 、 物 联网 的 发 展 ， 更 加 上 自动化、 舒适 化 、 安 全 化 、 节 能 化 的 家 


大 生活 已 成 为 可 能 。 目 前 比较 流行 的 智能 家 大 系统 的 结构 如 图 3-2 所 
和 
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图 3-2 智能 家 居 系 统 的 结构 


智能 家 居 需 求 与 趋势 的 不 断 升 远 ， 不 只 改变 了 家 电 使 用 方式 ， 随 
着 人 们 对 健康 与 平安 越 来 越 重视 ， 未 来 祝 能 家 居 将 逐渐 利用 影像 监控 
结合 感 测 与 网 络 技术 ， 建 立 居家 健康 监测 系统 ， 诸 如 视讯 医疗 、 远 距 
照护 、 血 压 管理 、 知 能 型 服药 系统 等 。 智 能 家 居 将 会 变 得 更 加 智慧 。 
清晨 ， 主 人 在 音乐 声 中 起 床 ， 豆 浆 机 、 面 包机 或 电饭煲 已 经 准备 好 后 
餐 ; 出 门 时 局 动 离 家 模式 可 以 目 动 天 闭 各 种 电 顺 、 窗 户 ， 还 可 以 锁 
门 ， 不 用 担心 孩子 是 否 会 偷 看 电视 ; 主人 回 家 前 ， 发 个 短信 ， 空 调和 
电饭煲 开 始 提前 工作 ， 冰 箱 将 根据 主人 的 消费 习惯 通过 网 络 同 超市 订 


货 ， 提 前 预警 将 要 过 期 食物 ;睡觉 时 空调 会 自动 感知 主人 温度 ， 设 置 
最 舒适 温度 .…… 这 样 的 美好 生活 预期 很 快 便 能 实现 ， 智 能 家 居 的 春天 
已 经 来 临 。 


(二 ) 智能 可 穿戴 设备 


可 穿戴 设备 即 直 接 穿 在 刁 上 ， 或 是 整合 到 用 户 的 衣服 或 配件 的 一 
种 便携 式 设备 。 智 能 可 穿戴 设备 是 融合 传 感 硕 、 显 示 右 、 无 线 等 功能 
模块 ， 应 用 罕 戴 式 技术 进行 智能 化 、 集 成 化 、 便 携 化 设计 ， 人 研发 而 成 
的 可 符 戴 式 电子 设备 的 总 称 。 

智能 可 穿戴 设备 的 基本 工作 原理 是 利用 传 感 娟 、 姥 频 识别 、 导 航 
定位 等 信息 模块 ， 按 约定 的 协议 接 入 移动 互联 网 ， 实 现 人 与 物 在 任何 
时 间 、 任 何 地 点 的 连接 与 信息 交互 。 智 能 可 穿戴 设备 将 会 对 我 们 的 生 
活 、 感 知 带 来 很 大 的 转变 。 可 罕 戴 设备 的 主流 产品 形态 包括 以 手腕 为 
支撑 的 Watch 类 ， 如 Apple Watch、 三 星 Galaxy Gear， 各 类 智能 手 环 
等 ;以 脚 为 文 撑 的 Shoes 类 ， 如 耐克 智能 运动 鞋 等 ， 以 头 部 为 文 撑 的 
Glass 类 ， 如 谷歌 眼镜 等 。 非 主流 产品 形态 包括 智能 服装 、 书 包 、 抛 
杖 、 配 锦 等 。 智 能 可 穿戴 设备 的 主要 类 别 如 表 3-1 所 示 。 

表 3-1 智能 可 穿戴 设备 的 主要 类 别 


类 别 产品 代表 数据 内 容 产品 功能 


Jawbone Up、Misfit | 人 体 运 动 、 睡 眠 、 帮助 消费 者 调整 作息 
Shine、 三 星 Gear Fit 饮食 等 数据 规律 、 督 促 加 强 训 练 


丰富 、 简 化 信息 获取 


信息 资讯 类 | 谷歌 眼镜 、Apple Watch | 导航、 生活 信息 


渠道 与 形式 
胎 语 仪 、 智 能 体温 计 、 
医疗 保健 类 | “7 | 名 项 体征 检测 数据 | 关心 用 户 的 保健 需求 


生命 体征 采集 仪 等 


通过 数据 可 视 化 技术 ， 我 们 可 以 将 这 些 数 据 以 二 维 或 三 维 的 形式 
直观 地 圣 现 出 来 ， 从 而 使 数据 更 容易 被 人 理解 ， 同 时 借助 数据 挖掘 技 
术 ， 我 们 可 以 从 这 些 数 据 当 中 挖掘 出 真正 有 价值 的 信息 ， 并 将 这 些 信 
思 担 供给 相关 决策 人 员 ， 进 而 使 这 些 数 据 被 充分 地 利用 起 来 ， 使 这 些 
数据 活 起 来 。 其 中 涉及 可 穿戴 设备 数据 的 采集 、 预 处 理 、 数 据 挖掘 及 
可 视 化 。 例 如 ， 如 何 根 据 已 有 的 数据 ， 去 预测 疾病 的 发 展 趋势 ， 可 能 
需要 使 用 时 间 序 列 分 析 技 术 进 行 分 析 ， 如 何 根据 用 户 的 生活 信息 ， 去 
判断 某 些 疾病 的 产生 原因 或 诱发 因素 ， 可 能 需要 我 们 使 用 关联 规则 去 
进行 分 析 。 


(三 ) 智能 推荐 系统 


亚马逊 的 创始 人 Bezo ( 贝 佐 斯 ) 曾经 说 过 ， 他 的 梦想 是 “如 有 果 我 有 
100 万 个 用 户 ， 我 就 要 为 他 们 做 100 万 个 亚马逊 网 站 ”。 智 能 推荐 系统 项 
载 的 丈 是 这 个 梦想 ， 即 通过 数据 挖掘 技术 ， 为 每 一 个 用 户 实 现 个 性 化 
的 推荐 结果 ， 让 每 个 用 户 更 便捷 地 获取 信息 。 在 今天 的 互联 网 应 用 
中 ， 很 多 搜索 结 采 都 是 个 性 化 的 ， 以 亚马逊 为 代表 的 越 来 越 多 “ 聪 
明 ” 的 推荐 系统 被 开发 出 来 ， 并 被 广大 用 户 信 赖 和 使 用 。 推 荐 系统 让 用 


户 的 生活 更 容易 、 更 便利 ， 从 长 期 来 看 ， 用 户 因此 会 购买 更 多 商品 ， 
或 者 对 服务 的 满意 度 更 高 。 


Bezo 对 智能 推荐 系统 的 评价 是 : 我 想 我 们 能 做 的 就 是 利用 先进 技 
术 ， 例 如 ， 联 合 过 滤 (推荐 系统 最 经 典 的 算法 ) 等 加 快 找 书 速度 。 打 
个 比方 ， 如 果 你 今天 走 进 一 家 书店 ， 发 现 一 本 让 你 心仪 的 书 的 可 能 性 
是 1/1000 ， 我 们 想 利 用 技术 来 了 解 你 本 人 ， 并 使 这 种 机 会 增加 到 
1/300， 然 后 是 1100，1/50， 等 等 。 这 将 为 人 们 创造 巨大 的 价值 。 再 伟 
大 的 商人 也 没有 机 会 逐个 地 了 解 他 们 的 顾客 ， 而 电子 商务 要 使 这 成 为 
可 能 。Bezo 还 曾 拿 推荐 系统 作为 武大 来 制衡 供应 商 : 亚马逊 在 和 大 型 
出 版 商谈 判 的 时 候 ， 就 会 使 用 他 们 的 推荐 系统 作为 杀手 铜 。 如 果 出 版 
商 没有 达到 他 们 的 要 求 ， 亚 马 逊 就 将 他 们 的 书 从 人 机 上 自动 化 推荐 系统 
中 撤 下 ， 这 也 残 意 味 着 他 们 将 不 会 癌 客 户 推荐 这 本 书 。 最 开始 出 版 商 
根本 不 知道 亚马逊 这 样 做 会 有 什么 效果 ， 他 们 大 多 数 人 不 知道 他 们 的 
销售 额 增长 是 因为 他 们 处 于 显眼 的 推荐 位 置 。 亚 马 逊 通过 这 种 方法 来 
展示 其 强大 的 市 场 力 量 。 如 果 出 版 商 不 妥协， 亚马逊 就 会 关闭 推荐 其 
书目 的 算法 ， 出 版 商 的 销售 额 一 般 会 下 降 40%。 人 然后， 通常 30 天 左 
右 ， 出 版 商 就 会 回 过 头 来 说 ,， “上 哎哟， 我 们 怎么 做 这 项 工作 ? ” 

智能 推荐 系统 是 一 个 系统 工程 ， 依 赖 数 据 、 架 构 、 算 法 、 人 机 交 
互 等 环节 的 有 机 结合 ， 形 成 合力 ， 其 中 有 许多 关键 点 需要 在 人 研究 中 密 
切 注意 。 开 发 推荐 系统 的 目标 ， 是 通过 个 性 化 数据 挖 据 技术 ， 将 “ 千 人 
一 面 ” 变 为 " 千 人 千 面 ”。 大 于 世界 、 芸 丢 众 生 ， 原 本 就 是 多 姿 多 彩 的 ， 
希望 智能 推荐 系统 能 让 这 个 世界 变 得 更 人 性 化 、 更 丰富 、 更 美好 。 


三 、 小 数据 与 人 工 智 能 


虽然 人 工 知 能 具有 强大 的 威力 ， 但 其 发 挥 威力 也 是 有 一 定 条 件 
的 : 没有 通用 的 AI， 也 没有 无 所 不 能 的 AI， 每 种 AI 必须 有 其 适应 的 
任务 环境 ， 比 如 ， 下 围棋 的 AlphaGo 不 可 能 马上 转型 做 股票 投资 ，@ 
人 能 够 通过 某 种 方式 管理 和 控制 AI @AI 智 能 体 的 系统 模型 结构 有 标 
准 模 型 ,但 其 实现 方式 杀 异 ， 开 发 者 和 使 用 者 可 以 对 该 模型 进行 创造 
性 的 设计 ; 由 人 工 智 能 以 * 有 界 最 优化 ?为 理论 基础 ， 即 在 给 定时 间 和 
计算 货源 条 件 下 ， 导 求 一 个 最 优 的 结果 。 

小 数据 恰好 可 以 完美 地 适用 于 人 工 智能 的 上 述 特 征 ， 打 造 多 样 
化 、 个 性 化 的 人 工 智能 系统 。 在 小 数据 的 文 持 下 和 人 工 智 能 模型 的 系 
统 学 习 后 ， 人 工 智能 可 以 更 好 地 服务 于 个 体 的 生产 生活 。 比 如 ， 在 出 
行 方面 ， 人 工 智能 的 加 入 可 以 实现 人 和 车 的 进一步 互动 ， 行 车 数据 智 
能 系统 可 以 通过 监测 车 辆 运行 的 各 项 指标 以 及 周围 地 面 、 空 气 环境 等 
对 于 车 况 进 行 细致 分 析 并 及 时 反馈 给 车 主 ， 降 低 车 主 发 生意 外 的 概 
率 ; 在 居家 方面 ， 人 工 智能 管家 的 加 入 可 以 完成 识别 访客 、 控 制 昭 
明 、 制 作 吐 司 、 播 放 音 乐 、 给 孩子 讲 故 事 等 事务 ， 使 人 不 再 为 琐事 所 
环 红 ; 在 办 公 方 面 ， 人 工 智能 助理 的 加 入 可 以 轻松 辅助 用 户 完成 琐碎 
的 工作 事项 ;在 科学 研究 方面 ， 人 工 智 能 教授 的 加 入 可 以 融合 不 同学 
科 的 知识 库 ， 帮 助 科研 工作 者 进行 学 术 创新 。 总 之 ， 小 数据 与 人 工 知 
能 的 结合 是 一 个 双 疝 促进 、 持 续 成 长 的 漫长 而 有 趣 的 过 程 。 我 们 在 赞 
叹 人 工 智 能 飞速 发 展 的 同时 ， 更 加 对 人 类 搭建 智能 体系 的 高 超 本 领 与 
宏大 格局 慰 叹 不 已 ! 


四 、 小 数据 与 智能 产品 


小 数据 依托 智能 产品 到 底 能 做 什么 ? 换个 方式 来 解释 吧 ， 随 着 知 
能 产品 越 来 越 关 能 ， 小 数据 首先 能 够 帮助 关 能 产品 完 堵 有 目 身 的 数据 展 
示 方 式 ， 再 者 能 够 帮助 智能 产品 越 来 越 有 个 性 ， 使 智能 产品 越 来 越 具 
有 个 人 标签 色彩 ! 对 于 使 用 者 来 说 ， 在 私密 空间 如 家 中 ， 需 要 无 与 伦 
比 的 舒适 感 和 安心 感 ， 在 公共 空间 如 校园 里 、 医 院 里 、 公 司 里 ， 需 要 
的 更 多 是 一 种 无 处 不 在 的 信任 感 和 归属 感 。 小 数据 通过 不 断 的 学 习 ， 
逐渐 地 复杂 化 ， 从 处 理 单一 目 然 人 的 个 体 发 展 为 处 理 一 则 教室 的 多 个 
目 然 人 组 成 的 个 体 集合 ， 再 发 展 为 处 理 一 个 科室 的 病人 组 成 的 复 洒 个 
体 集合 .…... 乔 能 产品 提供 媒介 ， 小 数据 提供 信息 ， 这 对 越 来 越 优秀 的 
搭档 在 智能 家 大 、 吞 甘 校 园 、 智 臣 医院 、 智 慧 城 市 的 组 建 中 散发 目 身 
的 魅力 ， 完 美的 生活 一 触 即 达 。 


企业 资源 计划 系统 (Enterprise Resource Planning，ERP) 是 指 以 
系统 化 的 管理 思想 为 企业 决策 层 及 员工 提供 决策 运行 手段 的 管理 平 
人 台 。ERP 系 统 的 应 用 范围 从 制造 业 扩展 到 了 和 零售 业 、 服 务 业 、 银 行 
业 、 电 信 业 、 政 府 机 关 和 学 校 等 事业 部 门 。 不 同 于 商业 物 能 体系 
(Business Intelligence，BI) 采购 成 本 较 高 、 数 据 体 量 庞大 、 服 务 响应 
周期 长 等 应 用 困难 ， 依 托 ERP 系 统 可 以 建立 合理 、 高 效 的 生产 计划 编 
制 体系 、 消 灭 信息 孤岛 、 实 现 企 业内 部 的 数据 共享 。 但 是 ERP 系 统 所 
分 析 处 理 的 只 是 数据 浅 层 次 的 语义 ， 其 对 具体 业务 操作 的 指导 性 较 
强 ， 但 对 于 决策 者 来 说 ， 系 统 应 用 起 来 较为 困难 ， 结 采 不 够 直观 。 
ERP 系 统 对 企业 整体 运营 情况 的 系统 整理 和 控制 是 不 可 或 铅 的 ， 但 其 
唯 有 与 小 数据 技术 相 融 合 ， 才 能 更 好 地 构建 并 不 断 修缮 企业 内 部 的 商 
业 智 能 化 体系 (如 图 3-3 所 示 ) 。 只 有 利用 这 样 的 系统 ， 才 能 将 ERP 系 
统 最 终 深化 、 升 华 到 企业 决策 层面 的 战略 思想 。 
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图 3-3 基于 小 数据 思想 的 商业 智能 化 系统 


五 、 小 数据 与 虚拟 现实 


虚拟 现实 技术 (Virtual Reality，VR) 是 一 种 可 以 创建 和 体验 虚拟 
世界 的 计算 机 仿真 系统 ， 它 利用 计算 机 生成 远 真 的 三 维 视觉 、 听 觉 、 
触觉 的 感 观 世界 ， 使 人 们 对 所 研究 的 对 象 和 环境 获得 身 临 其 境 的 感 
受 。VR 是 一 种 多 源 信息 融合 的 、 交 互 式 的 三 维 动 态 视 景 和 实体 行为 的 
系统 仿真 。 


VR 技术 的 核心 内 容 是 虚拟 环境 的 建立 ， 需 利用 获取 的 三 维 数据 建 
立 相 应 的 虚拟 环境 模型 。 将 小 数据 运用 到 VR 建 模 的 过 程 中 ， 可 以 极 大 
程度 地 还 原 和 丰富 VR 场景 的 真实 度 ， 提 升 VR 在 数据 终端 展 示 的 强大 
威力 ， 特 别 是 在 VR 外 设 逐 渐 走 进入 们 视野 之 际 ， 小 数据 的 精准 性 可 以 
为 VR 建 模 提供 最 为 全 面 、 必 要 的 数据 。 例 如 ， 将 VR 技术 应 用 在 数字 
化 校园 的 建设 当中 ， 就 需要 对 校园 中 的 地 形 、 地 貌 、 地 物 和 目 然 景观 
等 进行 二 维 模拟 仿真 ， 力 图 建立 动态 的 立体 式 虚 拟 校园 ， 在 计算 机 中 
还 原 真实 的 校园 原 狗 。 此 外 ， 小 数据 和 VR 技术 痢 古 一 种 在 实时 演变 、 
进化 的 数据 运动 过 程 ， 两 种 系统 的 动态 发 展 范式 可 以 相互 借鉴 。 例 
如 ， 据 Futurism 报 道 ，2030 年 时 ，VR 有 望 能 绕 过 设备 直接 与 人 类 思维 
相连 ， 而 VR 技术 如 何 实现 获取 人 类 大 脑 信号 的 数据 ， 小 数据 又 如 何 测 
度 VR 技 术 对 人 类 情绪 的 影响 呢 ? 实际 上 ， 这 是 两 种 技术 之 间 的 互动 和 
理解 。 如 果 小 数据 和 VR 能 够 更 好 地 融合 起 来 ， 无 颖 具有 巨大 的 科技 前 
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六 、 小 数据 与 增强 现实 


增强 现实 技术 (Augmented Reality，AR) 将 真实 的 信息 与 虚拟 世 
界 的 信息 同时 显示 出 来 。 这 两 种 信息 相互 补充 、 登 加， 在 显示 絮 里 把 
虚拟 世界 堆 释 在 现实 世界 中 ， 并 实时 地 计算 摄影 机 影像 的 位 置 及 角 
度 ， 使 虚拟 影像 与 真实 世界 完全 匹配 并 且 实 时 互动 。 增 强 现 实 技术 在 
各 个 领域 中 都 有 很 多 发 展 和 应 用 ， 并 且 在 小 数据 领域 的 发 展 前 景 似乎 
更 加 广阔 。 比 如 ， 在 军事 上 ， 采 用 AR 技术 ， 将 相关 数据 及 导航 信息 到 
加 到 飞行 头 爸 中 制订 更 精准 的 作战 计划 ;在 医疗 上 ， 通 过 移动 终端 ， 
将 CT 扫描 绪 果 县 加 到 人 体 不 同 部 位 ， 方 便 医 生 在 手术 中 随时 观测 患者 
病情 在 营销 方面 ， 利 用 AR 技 术 实 现 方 条 效果 的 模拟 ， 在 教育 方面 ， 
利用 AR 技术 使 三 维 模型 与 教科 书籍 等 相 结合 ， 利 用 移动 终端 ， 实 现 沉 
误 式 教学 ， 提 高 教学 质量 ， 在 娱乐 方面 ， 很 多 公司 开发 了 AR 详 戏 ， 让 
玩家 在 现实 环境 中 与 虚拟 的 人 物 互 动 等 。 示 来，AR 技 术 可 以 与 小 数据 
更 好 地 融合 ， 为 个 体 展现 更 加 直观 的 可 视 化 数据 ， 实 现 更 加 逼真 的 场 
景 模拟 ， 在 个 性 化 时 代 大 有 作为 。 


一 、 小 数据 的 逻辑 


(一 ) 参数 估计 和 假设 检验 :小 样本 的 搬 述 分 析 


参数 估计 (Parameter Estimation) 是 指 用 样本 的 统计 量 去 估计 总 
体 参数 的 方法 ， 包 括 点 估计 和 区 间 估计 。 


点 估计 (Point Estimation) 是 指 用 抽样 得 到 的 样本 统计 指标 作为 
总 体 某 个 未 知 参 数 特征 值 的 估计 ， 是 一 种 统计 推 岂 方法。 一 般 对 总 体 
参数 的 估计 包括 两 类 : 一 种 是 用 样本 均值 去 估计 总 体 均值 ， 男 一 种 是 
用 样本 概率 去 估计 总 体 概 率 。 同 时 我 们 会 计算 样本 的 标准 差 来 说 明 样 
本 均值 或 者 概率 的 波动 幅度 的 大 小 ， 从 而 估计 总 体 数据 的 波动 情况 。 
点 估计 还 包括 了 使 用 最 小 二 乘法 对 线性 回归 做 曲线 参数 的 拟 合 ， 以 及 
用 最 大 似 然 估 计 法 计算 样本 集 分 布 的 概率 密度 函数 的 参数 。 

区 间 估 计 (Interval Estimation) 是 指 依据 抽取 的 样本 ， 根 据 一 定 
的 正确 上 度 与 精确 度 的 要 求 ， 估 算 总 体 的 未 知 参数 可 能 的 取 值 区 间 。 区 
间 估 计 一 般 是 在 一 个 既定 的 置信 水 平 下 计算 得 到 总 体 均 值 或 者 总 体 概 
率 的 置信 区 间 (Confidence Interval) ， 一 般 会 根据 样本 的 个 数 和 标准 
差 估算 得 到 总 体 的 标准 误差 ， 根 据点 估计 中 用 样本 均值 或 样本 概率 估 
计 总 体 均 值 或 总 体 概率 ， 进 而 得 出 一 个 取 值 的 上 下 临界 点 。 

我 们 可 以 将 样本 标准 差 记 作 5， 如 果 我 们 抽样 获取 的 有 n 个 样本 ， 
那么 总 体 的 标准 差 o 就 可 以 用 样本 标准 差 估 算得 到 : 

S 


A 


Oo 


从 这 个 公式 中 我 们 可 以 看 到 大 数 定律 的 作用 ， 当 样本 个 数 n 越 大 
时 ， 总 体 指标 差 o 越 小 ， 桩 本 估计 值 越 接近 总 体 的 真实 值 。 有 了 总 体 的 
标准 差 c， 我 们 就 可 以 使 用 区 间 估计 的 方法 计算 总 体 参数 在 一 定 置信 水 
平 下 的 置信 区 间 ， 置 信 区 间 给 出 了 一 个 总 体 参数 的 真实 值 在 一 定 的 概 
率 下 会 落 在 怎么 样 的 取 值 区 间 ， 而 总 体 参 数落 在 这 个 区 间 的 可 信 程 度 
的 概率 就 是 置信 水 平 (Confidence Level) ， 在 统计 学 中 一 般 认为 95% 
的 置信 度 的 结果 具有 统计 学 意义 ， 实 际 应 用 中 还 需要 考虑 具体 分 析 目 
标 确 定 置 信 度 水 平 。 另 外 ， 当 抽取 的 样本 数量 足够 大 时 (一 般 
n>30) ， 根 据 “ 中 心 极限 定理 "， 我 们 可 以 认为 样本 均值 近似 地 服从 正 
态 分 布 。 

假设 检验 是 推断 统计 的 另 一 项 重要 内 容 ， 它 与 参数 估计 类 似 ， 但 
角度 不 同 。 参 数 估计 利用 样本 信息 来 推断 未 知 的 总 体 参数 ， 而 假设 检 
验 则 先 对 总 体 参数 所 出 一 个 假设 ， 然 后 利用 样本 信息 来 判断 这 一 假设 
是 否 成 立 。 比 如 ， 在 产品 合格 率 测算 问题 中 ， 参 数 估计 回答 的 是 合格 
率 所 处 的 数值 范围 ， 而 假设 检验 是 说 这 个 参数 有 多 大 概率 是 在 我 们 所 
估计 的 这 个 范围 里 面 ， 这 两 个 步骤 相互 联系 ， 没 有 假设 检验 的 参数 估 
计 是 不 完整 的 。 


(二 ) 贝 叶 斯 推理 :小 样本 的 经 验 判断 


贝 叶 斯 推理 (Bayesian Inference) 是 由 英国 牧师 贝 叶 斯 发 现 的 一 
种 归纳 推理 方法 ， 后 来 的 许多 人 研究 者 对 贝 叶 斯 方法 在 观点 、 方 法 和 理 
论 上 不 断 地 进行 完善 ， 最 终 形成 了 一 种 有 影响 的 统计 学 派 。 贝 叶 斯 推 
理 是 在 经 典 的 统计 归纳 推理 一 一 参数 估计 和 假设 检验 的 基础 上 发 展 起 
来 的 一 种 新 的 推理 方法 。 与 经 典 的 统计 归纳 推理 方法 相 比 ， 贝 叶 斯 推 
理 在 得 出 结论 时 不 仅 要 根据 当前 所 观察 到 的 样本 信息 ， 而 且 还 要 根据 
推理 者 过 去 有 关 的 经 验 和 知识 。 比 如 ， 一 个 朋友 开 咖 啡 厅 创 业 ， 创 业 
的 结果 无 非 是 两 种 ， 要 么 成 功 要 么 失败 ， 但 你 可 能 对 这 个 朋友 创业 成 


功 充 满 信 心 ， 因 为 你 对 他 的 为 人 有 一 定 的 了 解 ， 他 学 习 过 如 何 杜 选 咖 
啡 豆 并 且 认 识 许多 卖 咖啡 豆 的 行家 ， 他 会 研磨 咖啡 ， 他 认识 许多 喜欢 
喝 咖 啡 的 有 钱 人 ， 他 善于 交际 ， 他 家 境 拒 实 …… 因 此 你 可 能 会 不 由 目 
主 地 估计 他 创业 成 功 的 概率 可 能 在 90% 左 右 。 这 种 不 同 于 最 开始 的 非 
黑 即 日 的 思考 方式 ， 便 是 贝 叶 斯 式 的 思维 脉络 。 

贝 叶 斯 推理 是 从 概率 论 中 的 贝 叶 斯 定理 扩充 而 来 。 通 常 ， 事 件 A 
在 事件 B 发 生 的 条 件 下 的 概率 ， 与 事件 B 在 事件 A 发 生 的 条 件 下 的 概率 
古 不 一 样 的 ， 然 而 ， 这 两 者 是 有 确定 关系 的 ， 贝 叶 斯 定理 束 是 这 种 关 
系 的 陈述 。 贝 叶 斯 定理 断定 : 已 知 一 个 事件 集 Bi (i=1,2,.….,k) 中 每 一 
Bi 的 概率 P (Bi) ， 又 知 在 Bi 已 发 生 的 条 件 下 事件 A 的 条 件 概率 P 
(AlBi) ， 束 可 得 出 在 给 定 A 已 发 生 的 条 件 下 任何 Bi 的 条 件 概率 ( 逆 概 
率 ) P (Bil[A) 。 贝 叶 斯 定理 其 实 就 是 已 知 第 二 阶段 反 推 第 一 阶段 ， 这 
时 候 关 键 是 利用 条 件 概 率 公式 做 个 有 能 坤 大 挪移 ， 即 : 


P(B,)P(AIB,.) 
P(B,)P(AIB,)+P(B,)P(A/B,)+:……+P(B,)P(AIB,) 


P(B.14)= 


贝 叶 斯 定理 通过 求 逆 概率 来 透 过 现象 考察 事物 本 质 ， 即 展现 了 一 
种 逻辑 推理 方法 ， 在 观察 到 的 线索 下 推断 出 发 生 的 某 种 情况 。 


贝 叶 斯 推理 是 一 种 正式 的 推理 系统 ， 它 反映 了 你 在 日 常生 活 中 所 
做 的 事情 : 使 用 新 的 信息 来 更 狐 你 对 一 个 事件 发 生 概 率 的 预测 。 比 
如 ， 一 个 汽车 4S 店 的 销售 人 员 必 须 决定 要 人 花 多 少时 间 在 “顺路 进来 
看 ”的 消费 者 号 上 。 销 售 人 员 从 经 验 中 总 结 出 ， 这 些 消费 者 中 只 有 很 小 
的 比例 会 天 车 ， 但 是 他 也 知道 ， 如果 这 些 人 目前 拥有 的 汽车 品牌 正好 
征 经 销 商 有 的 品牌 ， 则 购买 的 可 能 性 会 明显 增加 。 利 用 贝 叶 斯 推理 ， 
销售 人 员 会 询问 每 个 “顺路 进来 看 ”的 消费 者 目前 开 什么 品牌 的 车 ， 然 
后 利用 这 些 信息 来 相应 地 定位 客户 。 


(三 ) 目 助 法 : 小 样本 的 试验 评估 


Bootstrapping 从 字面 意思 解释 是 拔 鞭 法， 但 从 其 内 容 实 质 上 来 
说 ，Bootstrapping 翻 译 为 自助 法 是 更 加 恰当 的 。 上 自助 法 的 名 称 来 源 于 
英文 短语 “to pull oneself up by one's bootstrap”， 表 示 完 成 一 件 不 能 自然 
完成 的 事情 。Bootstrapping 的 思想 是 “再 抽样 "， 实 质 是 非 参 数 统计 中 一 
种 重要 的 估计 统计 量 方差 进而 进行 区 间 估 计 的 统计 方法 。1977 年 ， 美 
国 斯 坦 福 大 学 统计 学 教授 Efron 提 出 了 一 种 新 的 增 广 样本 的 统计 方法 ， 
束 是 Bootstrapping 方 法 ， 为 解决 小 样本 试验 评估 问题 提供 了 很 好 的 思 
路 。 


统计 学 中 ，Bootstrapping 指 依赖 于 重复 随机 抽样 的 一 切 试 验 ， 它 
不 断 地 从 真实 数据 中 进行 抽样 ， 以 百代 先前 生成 的 样本 。 假 设 抽 取 的 
样本 量 大 小 为 mn 在 原样 本 中 有 放 回 的 抽样 ， 抽 取 n 次 。 每 抽 一 次 形成 
一 个 新 的 样本 ， 重 复 操 作 ， 形 成 很 多 新 样本 ， 通 过 这 些 样 本 就 可 以 计 
算出 样本 的 一 个 分 布 。 新 样本 的 数量 通常 是 1000~10000。 如 果 计 算 成 
本 很 小 ， 或 者 对 精度 要 求 比较 高 ， 束 增加 新 样本 的 数量 ， 数 量 越 大 结 
果 越 精确 。 如 果 对 于 一 个 样本 采样 ， 我 们 只 能 计算 出 某 个 统计 量 (如 
均值 ) 的 一 个 取 值 ， 无 法 知道 若干 个 可 能 的 均值 统计 量 的 分 布 情况 。 
但 是 通过 Bootstrapping 我 们 可 以 模拟 出 均值 统计 量 的 近似 分 布 ， 也 就 
是 说 Bootstrapping 可 以 用 于 计算 样本 估计 的 准确 性 。 


与 贝 叶 斯 推理 方法 相 比 ，Bootstrapping 的 优点 在 于 : 也 无 须 对 分 
布 特性 做 严格 的 假定 进行 分 析 ， 因 为 它 使 用 的 分 布 束 是 真实 数据 的 分 
布 ; @) 人 简单 易于 操作 。 缺 点 在 于 Bootstrapping 的 运用 基于 很 多 统计 学 
假设 ， 因 此 假设 的 成 立 与 否 会 影响 采样 的 准确 性 。 


(四 ) 回归 分 析 : 小 样本 的 趋势 判断 


一 个 数学 模型 是 一 种 描述 两 个 或 者 多 个 变量 值 之 间 关 系 的 表达 。 
商业 中 会 在 很 多 方面 使 用 模型 一 一 定价 是 一 个 贡 见 的 例子 。 如 采 将 定 
价 表示 为 一 个 数学 模型 ， 人 们 可 以 为 销售 设备 、 在 线 报价 系统 ， 以 及 
其 他 有 用 的 应 用 程序 建立 起 这 个 模型 公式 。 


(1) 线性 模型 和 线性 回归 


线性 模型 是 一 个 数学 模型 ， 其 中 目 变 量 和 因 变 量 的 关系 对 于 目 变 
量 的 所 有 值 来 说 是 恒定 的 ， 也 束 是 说 函数 关系 是 确定 的 。 一 个 线性 模 
型 可 能 会 包括 常量 。 假 设 商 品 单价 为 20 元 ， 定 价 还 包括 100 元 的 运输 费 
用 和 保险 费用 ， 那 么 定价 模型 就 是 y=100+20x， 其 中 y 为 总 价 ，x 为 商品 
数量 。 从 定价 实例 中 归纳 ， 线 性 模型 可 以 表达 为 y=bta1x1+a2X2+.…. 
+anxn 的 形式 ， 其 中 * 是 因 变 量 ，x1 到 xn 是 自 变 量 ;，b 和 系数 al 到 an 为 线 
性 模型 中 的 参数 。 线 性 模型 是 一 种 易于 解释 和 部 署 的 数学 模型 ， 它 的 
确定 是 建立 在 经 过 很 多 理论 研究 和 实际 调研 的 基础 之 上 的 。 如 有 果 我 们 
想 要 利用 线性 模型 来 预测 如 股价 、 信 用 卡 用 户 还 款 等 复杂 行为 和 未 知 
事物 ， 那 么 就 需要 估计 模型 中 的 各 项 参数 值 。 基 于 对 历史 数据 进行 统 
计 分 析 的 线性 回归 方法 是 估计 模型 参数 的 有 效 方法 。 

线性 回归 对 一 段 时 间 的 历史 数据 进行 分 析 和 计算 ， 使 线性 模型 能 
够 “最 好 ”地 匹配 数据 的 参数 。 线 性 回归 方法 通过 最 小 二 乘 准 则 选择 一 
个 最 优 的 模型 ， 最 大 限度 地 减少 预测 值 和 实际 值 之 间 的 平方 误差 。 

线性 回归 是 一 种 功能 强大 、 应 用 广泛 且 较 为 简单 的 方法 ， 因 此 线 
性 回归 模型 在 很 多 领域 中 都 是 一 种 常见 的 方法 。 回 归 分 析 中 ， 只 包括 
一 个 目 变 量 和 一 个 因 变 量 ， 且 两 者 的 关系 可 用 一 条 直线 近似 表示 ， 这 
种 回归 分 析 称 为 一 元 线性 回归 分 析 。 如 果 回 归 分 析 中 包括 两 个 或 两 个 
以 上 的 自 变 量 ， 且 因 变 量 和 上 自 变 量 之 间 是 线性 关系 ， 则 称 为 多 元 线性 
回归 分 析 。 理 论 上 讲 ， 非 线性 的 天 系 可 以 通过 函数 变换 线性 化 ， 比 
如 : y=a+bInx， 令 t=Inx， 方 程 束 线性 化 成 了 y=at+bt， 因 此 线性 回归 处 
理 数据 的 手段 比较 灵活 。 


为 了 检验 模型 匹配 数据 的 程度 ， 线 性 回归 中 经 常用 到 判别 系数 或 
者 R“ 作 为 天 键 的 统计 指标 。 从 理论 上 讲 ， 这 个 统计 指标 测量 的 是 能 被 
模型 所 解释 的 因 变 量 的 变化 在 因 变 量 总 体 变化 中 的 比例 。 如 有 果 R“ 很 
小 ， 则 线性 模型 需要 进行 改进 。 此 外 ， 线 性 回归 分 析 还 需要 对 模型 的 
系数 进行 显 普 性 检验 ， 如 有 果 某 个 系数 不 能 通过 显著 性 检验 ， 则 说 明 这 
个 系数 相关 的 预测 因子 对 模型 没有 意义 ， 需 要 改进 。 

线性 回归 的 主要 缺陷 是 限制 条 件 较 多 。 首 先 ， 线 性 回归 分 析 需 要 
因 变 量 是 连续 型 变量 ， 在 数据 缺失 的 时 候 需 要 运用 其 他 方法 解决 问 
题 ; 其 次 ， 由 于 假设 条 件 比较 多 ， 许 多 实际 生活 中 的 现象 无 法 用 线性 
关系 来 表现 和 展示 ， 线 性 回归 的 实用 价值 难以 发 挥 出 来 最 后 ， 线 性 
回归 分 析 并 不 知道 真实 的 理论 模型 ， 它 默认 所 使 用 的 线性 模型 能 够 合 
理 代表 所 人 研究 对 象 的 行为 ， 在 此 基础 上 进行 参数 估计 ， 可 能 会 曲解 事 
件 的 真相 ， 最 终 展 示 出 欺骗 性 回归 的 虚假 关系 。 


(2) 广义 线性 模型 


我 们 前 面 所 提 到 的 线性 模型 是 标准 的 ， 其 假设 因 变量 是 连续 的 ， 
且 是 正 态 分 布 的 。 然 而 在 很 多 实际 情况 中 ， 这 个 假设 是 不 合适 的 ， 所 
以 一 个 线性 模型 可 能 是 不 可 靠 的 。 我 们 用 一 个 例子 来 说 明 这 个 问题 。 

例如 ， 假 设 我 们 想 要 建立 一 名 学 生 的 英语 成 绩 会 随 他 所 掌握 的 单 
词 量变 化 的 模型 。 一 个 相对 标准 化 的 线性 模型 可 能 会 告诉 我 们 单词 量 
每 提升 100， 这 个 人 的 英语 水 平 能 够 提高 10 分 。 但 是 在 实际 应 用 这 个 预 
测 模型 时 ， 我 们 可 能 会 发 现 这 个 模型 显著 高 估 了 那些 单词 量 已 经 达到 
10000 的 学 生 的 英语 成 绩 提高 值 ， 而 明显 低估 了 那些 单词 量 只 有 500 的 
学 生 的 英语 成 绩 提高 值 。 

这 个 例子 告诉 我 们 ， 一 个 标准 化 的 预测 模型 的 针对 性 比较 差 ， 在 
很 多 场合 中 以 绝对 值 表 现 出 来 的 数量 关系 并 不 适合 用 以 解决 具体 问 
题 。 有 鉴于 此 ， 学 者 和 研究 人 员 加 强 了 对 线性 模型 误差 原因 的 分 析 ， 


引入 了 英语 成 绩 变化 百分比 来 改进 原 有 的 线性 模型 。 换 名 话说， 通过 
比值 的 方法 将 该 模型 从 线性 模型 改变 为 指数 或 对 数 性 模型 ， 这 突出 展 
现 了 数据 变化 的 相对 关系 ， 对 于 状态 变化 的 影响 的 测度 更 为 合理 。 因 
此 ， 线 性 模型 的 外 延 得 到 了 扩展 。 

正如 我 们 所 说 的 ， 标 准 线性 模型 需要 一 个 正 态 分 布 的 因 变量 ， 而 
广义 线性 模型 则 只 需要 因 变量 属于 指数 分 布 族 的 一 员 ， 指 数 分 布 族 包 
括 伯 努 利 、b、 卡 方 、 指 数 、 伽 马 、 正 态 、 泊 松 等 分 布 。 广 义 线性 模型 
在 处 理 多 种 不 同 分 布 时 更 有 效 ， 并 且 ， 广 义 线性 模型 在 引入 一 个 非 线 
性 连接 画 数 后， 放宽 了 因 变量 和 自 变 量 之 间 的 线性 关系 要 求 ， 而 仅 要 
求 在 通过 连接 画 数 转化 后 呈现 线性 关系 。 


(3) 广义 相 加 模型 


广义 相 加 模型 是 一 种 非 参 数 回归 。 线 性 回归 这 种 技术 是 参数 化 
的 ， 意 味 着 它们 关于 数据 的 一 些 特定 假设 ， 如 有 果 为 满足 模型 假设 ,在 
错误 的 前 提 下 进行 分 析 ， 结 果 可 能 是 一 个 劣质 或 虚假 的 模型 。 非 参数 
回归 束 是 为 了 将 模型 从 线性 的 假设 条 件 中 解放 出 来 ， 用 非 参 数 的 方法 
来 探索 线性 回归 分 析 不 可 及 的 部 分 。 

相 加 模型 可 以 用 y=b+alx1+a2Xx2+...+anxn 来 表示 ， 但 其 自 变量 的 
形式 还 是 比较 丰富 多 变 的 。 在 相 加 模型 中 ， 可 以 用 更 复杂 的 函数 来 替 
代 线 性 方程 中 的 简单 项 。 比 如 ， 部 分 或 全 部 的 目 变 量 采 用 平滑 函数 来 
降低 线性 设 定 带 来 的 模型 风险 ， 在 广义 相 加 模型 中 ， 因 变量 同样 可 以 
采取 指数 分 布 系列 中 的 任何 一 种 形式 。 

广义 相 加 模型 的 主要 优势 是 当 并 在 日 变量 数量 比较 大 时 ， 能 够 对 
复杂 的 非 线 性 关系 进行 建 模 。 比 如 它 能 够 解决 Logistic 回 归 中 ， 当 解释 
变量 个 数 较 多 时 引起 的 维度 灾难 。 广 义 相 加 模型 的 主要 缺陷 是 计算 过 
程 和 方法 非常 复杂 ， 而 且 像 其 他 非 参数 方法 一 样 ， 广 义 相 加 模型 有 很 
高 的 过 度 拟 合 性 质 ， 模 型 泛 化 的 能 力 较 弱 。 广 义 相 加 模型 同样 在 医学 
研究 、 生 态 环境 保护 等 领域 有 很 多 的 应 用 方法 和 实例 。 


(4) Logistic 回 归 


在 具体 问题 的 研究 中 ， 线 性 回归 的 确 能 够 解决 很 多 问题 ， 但 由 于 
回归 所 用 的 一 般 是 连续 型 模型 ， 而 且 受 噪 声 影 响 比 较 大 ， 所 以 对 某 一 
个 特定 的 问题 ， 线 性 回归 并 不 是 最 优 的 解决 方案 。 比 如 ， 在 认识 、 理 
解 分 类 行为 方面 ，Logistic 回 归 分 析 方 法 可 能 会 产生 更 令 人 满意 的 结 
果 。Logistic 回 归 分 析 是 为 了 对 一 个 分 类 变量 和 一 个 或 多 个 因 变 量 之 间 
的 关系 进行 更 明确 的 建 模 。 

Logistic 回 归 实 际 上 是 广义 线性 回归 的 一 种 表现 方式 ， 其 与 线性 回 
归 的 模型 形式 基本 相同 ， 如 y=b+alx1+a2x2+...+anxn。 但 它们 因 变 量 
不 同 ， 多 元 线性 回归 直接 将 btalx1+a2x2+..….+anxn 的 值 作为 因 变量 ， 
而 Logistic 回归 在 线性 回归 的 基础 上 ， 套 用 了 一 个 画 数 工 将 
btalx1+a2X2+...+anXn 对 应 为 一 个 状态 p，p=L (btalx1+a2X2+... 
+anxn) ， 然 后 根据 p 与 1-p 的 大 小 决定 因 变 量 的 值 。 如 有 果 L 是 Logistic 函 
数 ， 就 是 Logistic 回 归 ; 如 果 L 是 多 项 式 画 数 ， 就 是 多 项 式 回 归 。 


Logistic 回 归 中 最 为 核心 的 各 环节 是 ，QD 首 先 计算 事件 的 发 生 比 ， 
即 发 生 概率 p 与 没有 发 生 的 概率 1-p。@ 对 事件 发 生 比 取 对 数 。 事 件 的 
发 生 比 是 一 个 缓冲 ， 可 以 将 因 变量 的 取 值 范围 扩大 ， 再 通过 对 数 变 换 
改变 整个 因 变量 。 大 量 的 实践 表明 ， 经 过 这 两 步 的 变换 ， 因 变量 和 自 
变量 之 间 呈 现 线性 关系 。@ 最 大 似 然 估计 法 求 Logistic 回 归 模型 的 参 
数 。 在 这 一 步骤 中 ， 通 过 构造 损失 画 数 、 似 然 画 数 、 取 似 然 画 数 并 求 
似 然 画 数 极 大 值 来 进行 求解 。Logistic 回 归 从 根本 上 解决 了 因 变 量 为 非 
连续 变量 的 情形 。 

Logistic 回 归 用 以 解决 三 种 分 类 方面 的 问题 。 二 项 分 类 ， 即 因 变 
只 有 两 种 取 值 可 能 。 如 潜在 的 客户 响应 或 不 响应 ， 借 款 人 还 款 或 不 
还 款 等 。 二 项 分 类 是 Logistic 回 归 中 最 普遍 的 用 途 。@ 多 项 有 序 分 类 问 
i， 即 因 变量 可 以 有 两 个 以 上 的 值 ， 但 各 个 取 值 之 间 有 排名 次 序 之 
* 比如， 在 某 公司 开展 的 用 户 满意 度 调查 中 ,，“ 非 常 满意 “有 些 满 


冰 早 该 由 


意 关 一 般 ” 有 些 不 满意 ”和 "非常 不 满意 ” 儿 项 答案 中 十 暗含 着 排 名 次 序 
的 。(3) 多 项 基数 分 类 ， 即 因 变 量 可 以 有 两 个 以 上 的 值 ， 且 各 个 取 值 之 
间 是 并 列 天 系 ， 如 消费 者 在 选 购 手机 时 可 以 选择 “苹果 ”“ 三 星 ”* 小 


米 半 华为 ”等 8 


具体 来 说 ，Logistic 回 归 常 用 于 数据 挖 气 、 疾 病 目 动 诊 断 、 经 济 预 
测 等 领域 。 例 如 ， 判 断 肺 冶 的 诱发 因素 ， 避 ® 可 以 罗列 出 所 有 的 肺癌 病 
症 诱 发 因素 并 根据 这 些 因 素 的 影响 水 平和 经 验 数 据 等 预测 肺癌 疾病 的 
发 生 概率 。 通 过 选取 两 组 人 群 ， 一 组 为 患 病 组 ， 男 一 组 为 空白 对 照 
组 ， 比 较 两 组 人 群 不 同 的 生命 体征 、 生 活 方式 以 及 其 他 外 界 影 响 因素 
等 。 构 建 模 型 时 ， 因 变量 为 二 项 分 类 法 下 的 “ 患 肺 癌 ” 或 “不 患 肺 癌 ”， 
而 目 变 量 为 各 影响 因素 如 年 龄 、 性 别 、 饮 食 习 惯 、 遗 传 因素 、 工 作 环 
境 、 细 苦 感 染 等 。 目 变量 既 可 以 是 连续 的 ， 也 可 以 是 分 类 的 。 然 后 通 
过 Logistic 回 归 分 析 ， 可 以 得 到 目 变 量 的 权重 ， 从 而 可 以 大 致 了 解 到 撒 
哪些 因素 是 诱发 肺癌 的 危险 因素 。 同 时 可 以 根据 该 危险 因素 的 权 值 预 
测 一 个 人 患 肺癌 的 可 能 性 。 


(五 ) 正则 化 : 小 样本 的 拟 合 优化 


过 度 拟 合 是 指 一 个 模型 的 准确 性 对 训练 数据 集 比 对 一 个 独立 数据 
集 更 高 ， 过 度 拟 合 表现 在 训练 数据 上 的 误差 非常 小 ， 而 在 测试 数据 上 
误 奔 反而 增 大 。 对 于 线性 回归 或 逻辑 回归 的 损失 函数 构成 的 模型 ， 可 
能 有 些 变 量 权重 很 大 ， 有 些 变量 权重 很 小 ， 导 人 致 过 分 拟 合 了 训练 数据 
中 所 有 数据 的 随机 特征 ， 使 模型 的 复杂 度 提高 ， 在 实际 运用 中 对 未 知 
数据 的 预测 能 力 较 差 。 如 图 4-1 所 示 ， 左 图 即 为 欠 拟 合 ， 中 图 为 合适 的 
拟 合 ， 石 图 为 过 度 拟 合 。 


图 4-1 线性 回归 拟 合 结果 的 三 种 情况 


为 了 分 析 过 度 拟 合 发 生 的 本 质 原 因 ， 我 们 举 一 个 简单 的 例 和 于 。 高 
中 数学 里 我 们 都 知道 ，n 个 线性 无 关 的 方程 可 以 解 n 个 变量 ， 解 m+1 个 
变量 束 会 无 法 解 出 来 。 回 归 分 析 中 ， 数 据 即 代表 线性 无 关 的 方程 ， 模 
型 空间 即 对 应 变量 。 模 型 拟 合 过 程 中 ， 当 训练 数据 过 少 造成 模型 空间 
相对 很 大 时 ， 数 据 噪声 很 大 会 造成 过 度 拟 合 问题 ， 当 模型 空间 本 里 过 
多 导致 模型 复杂 时 ， 也 容易 出 现 过 度 拟 合 过 程 。 


有 一 些 技术 可 以 防止 过 度 拟 合 ， 包 括 对 于 独立 样本 的 模型 验证 、 
mn- 折 区 叉 验 证 和 正则 化 。 对 于 防止 模型 过 度 拟 合 ， 且 在 不 降低 模型 中 
模型 空间 的 前 提 下 减少 有 效 目 由 度 ， 正 则 化 几乎 是 神奇 的 解决 办 法 。 
为 什么 说 正则 化 方法 神奇 呢 ? 主要 是 由 于 正则 化 保留 了 所 有 的 目 变 
量 : 正则 化 模型 对 目标 函数 的 变量 个 数 引 入 损失 画 数 的 概念 ， 通 过 减 
小 目 变 量 的 参数 大 小 ， 长 至 很 多 变量 的 系数 为 0 而 降低 模型 的 维度 ， 城 
少 损 失 。 正 则 化 方法 基于 目 变 量 数量 对 模型 进行 惩罚 ， 从 而 限制 其 复 
杂 性 。 为 了 进入 该 模型 ， 每 个 新 的 目 变 量 一 定 要 克服 逐渐 增加 的 复 灯 
性 惩罚 系数 。 正 则 化 的 方法 非常 有 效 ， 因 为 我 们 在 分 析 解 决 一 个 问题 
的 时 候 ， 模 型 中 所 有 的 变量 可 能 都 会 对 预测 结果 产生 一 点 影响 ， 只 不 
过 作用 效 采 不 同 。 不 恰当 地 说 ， 这 个 目 变 量 颇 有 几 分 “ 食 之 无 味 、 弃 之 
可 异 ? 的 两 难 之 感 ， 而 正则 化 方法 则 较 好 地 解决 了 这 个 问题 。 


(六 ) 小 域 估计 :小 样本 的 历史 数据 


近 70 年 来 ， 抽 样 调查 的 思想 、 理 论 体系 和 实际 应 用 已 取得 了 非常 
辉 焊 的 进展 ， 这 种 方法 和 : 借 其 速度 快 、 经 济 效 益 较 高 、 涉 猫 范 围 广 旦 
与 时 俱 进 的 优势 成 为 一 项 能 够 永 续 发 展 的 统计 技术 。 在 这 样 的 基础 之 
上 ， 人 们 不 再 局 限于 从 样本 中 获得 整个 总 体 的 参数 估计 量 的 层面 ， 而 
也 开始 要 求 对 于 总 体 中 某 些 重要 的 子 总 体 的 估计 量 展开 研究 。 


举 个 例子 ， 为 了 人 研究 粮食 产量 的 可 持续 性 问题 ， 我 们 需要 调研 某 
省 各 市 县 地 区 农作物 的 播种 地 区 面积 ， 但 是 目前 可 以 获得 的 公开 数据 
只 有 这 个 省 的 年 度数 据 。 之 无 疑问 ， 这 些 数据 也 是 通过 抽取 大 量 县 城 
和 村 庄 的 田地 作为 样本 进行 调查 的 。 这 里 调查 的 研究 总 体 是 该 省 的 农 
作物 播种 面积 ， 样 本 个 体 是 每 块 被 调研 的 田地 ， 而 各 县 城 的 农作物 播 
种 地 区 面积 是 要 分 析 的 子 总 体 。 这 类 需要 单独 给 出 估计 的 子 总 体 也 称 
为 域 (Domain) 或 子 域 (Subdomains) 。 


从 子 总 体 的 特点 和 类 别 角 度 来 说 ， 域 可 以 是 总 体 中 具有 某 种 特殊 
性 质 的 子 总 体 ， 而 从 空间 层面 或 者 是 样本 用 途 方面 来 考察 ， 比 如 ， 从 
地 理 区 域 的 角度 来 看 ， 域 也 指 相 对 总 体 而 言 区 域 范 围 较 小 的 区 域 。 如 
采 落 在 域内 的 样本 数量 足够 大 ， 可 以 进行 足够 精度 的 估计 ， 我 们 束 可 
以 将 其 看 作 大 区 域 (Large Areas) 。 不 过 ， 当 域内 样本 量 很 小 ， 甚 至 
为 0 时 ， 估 计量 会 极 不 稳定 ， 方 差 很 大 ， 很 难 提供 高 质量 的 统计 学 推 
靳 。 这 种 域 样本 量 较 小 或 为 0 的 子 总 体 就 称 为 小 区 域 (Small Areas) 。 
在 这 样 的 小 区 域内 ， 人 们 可 以 通过 改进 抽样 调查 问卷 的 设计 满足 多 层 
次 需求 ， 获 得 既 能 满足 自 寻 估计 的 需要 ， 又 能 满足 其 子 总 体 估 计 需 要 
的 样本 。 然 而 传统 的 直接 估计 方法 对 这 些 样本 的 分 析 很 难 奏 效 ， 因 此 
孕育 出 了 一 种 新 方法 。 

小 域 估计 (Small Area Estimation，SAE) 逛 生 于 11 世 纪 的 英国 和 
17 世 纪 的 加 拿 大 ， 早 期 的 小 域 研究 主要 集中 在 人 口 统计 学 ， 人 口 统计 
将 抽样 调查 和 域 估计 的 “潮流 ”思想 引入 了 政府 。 随 着 政府 、 机 构 对 精 


确 的 SAE 的 需求 的 增长 ，SAE 被 广泛 地 应 用 于 农业 产量 调查 、 疾 病 及 
其 症状 调查 、 吸 毒 、 酮 酒 等 问题 ， 丙 业 管 理 如 辅助 决策 者 制定 政策 、 
项 目 规划 、 财 政 资金 分 配 和 地 方法 规 等 全 社会 生产 生活 中 。 

SAE 的 重要 意义 是 ， 很 多 新 方案 的 制定 与 SAE 方 法 的 估计 结 采 密 
切 相 关 ， 因 为 创新 虽然 有 实践 依据 ， 但 却 没有 历史 可 言 ， 其 样本 数据 
必然 不 会 太 多 。 比 如 基金 分 配 、 教 育 医 疗 、 环 境 规划 的 方案 创新 等 。 
此 外 ， 在 一 些 国家 ， 通 过 行政 手段 进行 人 口 普查 所 获得 的 数据 ， 可 以 
使 用 这 一 算法 来 对 数据 进行 测评 和 调整 。 

SAE 的 关键 点 是 如 何在 样本 很 少 的 情况 下 尽 可 能 准确 地 估计 子 总 
体 对 象 特征 的 均值 、 计 数 、 分 位 点 等 内 容 ， 也 束 是 说 对 佑 计量 的 误 索 
的 测定 和 控制 定 SAE 最 核心 也 是 最 敏感 的 痛 点 ， 由 此 也 衍生 了 一 些 有 
意思 的 SAE 分 析 方 法 。 正 如 数理 统计 有 经 典 统计 学 派 与 贝 叶 斯 学 派 一 
样 ， 实 现 SAE 的 途径 也 有 经 典 方 法 与 现代 方法 。 一 类 是 直接 估计 方 
法 ， 称 为 基于 设计 的 估计 方法 ， 男 一 类 是 间接 估计 的 方法 ， 称 为 基于 
模型 的 估计 方法 。 

基于 设计 的 方法 第 第 采用 一 种 辅助 模型 作为 评价 者 的 构架 体系 ， 
但 是 偏 集 、 方 靶 和 评估 量 等 属性 需要 通过 基于 设计 的 算法 的 随机 分 布 
来 估计 。 假 定 总 体 参 数 征 固定 的 ， 一 个 佑 计量 的 随机 分 布 是 通过 所 有 
可 能 获得 的 样本 得 到 的 分 布 ， 而 这 些 所 有 可 能 获得 的 样本 是 在 对 选取 
样本 的 抽样 设计 条 件 下 从 目标 总 体 中 选取 的 。 另 外 ， 基 于 模型 的 方法 
认为 总 体 结 构 遵从 一 个 特定 概念 下 的 模型 : “有 限 总 体 本 吴 吏 可 以 看 作 
某 无 限 总 体 的 一 个 随机 样本 。? 由 假设 模型 导出 的 分 布 提供 了 所 抽 中 特 
定 样本 的 相关 推 煌 。 基 于 模型 的 方法 已 被 用 来 研究 直接 估计 及 其 相关 
推 煌 ， 包 括 线性 模型 、 非 线性 模型 及 随机 效应 模型 。 吏 已 抽 中 的 特定 
样本 而 言 ， 这 些 方法 提供 了 真实 有 效 的 条 件 推断 。 但 在 模型 定义 错误 
的 情况 下 ， 随 着 域 样 本 量 的 增 大 ， 基 于 模型 的 方法 可 能 很 差 。SAE 方 
法 在 实际 应 用 过 程 中 会 面临 着 方法 的 选择 ， 要 根据 不 同 的 调查 目的 和 
实际 情况 选择 适当 的 方法 。 


(七 ) 随机 模拟 : 小 样本 的 模拟 数据 


在 日 常生 活 中 ， 我 们 时 常 发 现 ， 诸 如 几何 之 类 的 实际 问题 ， 数 学 
解法 虽然 可 以 很 好 地 帮助 我 们 解决 ， 如 各 类 微 积分 、 中 心 极限 定理 等 
问题 ， 但 是 这 些 公式 的 计算 数据 ， 一 般 都 相当 庞大 且 复杂 难 解 ， 这 就 
为 处 理 问题 的 我 们 带 来 很 多 困扰 ， 正 是 因为 客观 世界 的 菜 些 现象 之 间 
存在 着 某 种 相似 性 ， 因 而 可 以 从 一 种 现象 出 发 研究 另 一 种 现象 。 比 
如 ， 在 分 析 一 个 系统 时 ， 可 先 构造 一 个 与 该 系统 相似 的 模型 ， 通 过 在 
模型 上 进行 实验 来 研究 原 模型 ， 这 就 是 模拟 ， 随 机 系统 可 以 用 概率 模 
型 来 描述 并 进行 实验 ， 称 为 随机 模拟 方法 。 随 机 模拟 利用 计算 机 先进 
技术 ， 把 日 常生 活 中 的 例子 仿真 到 计算 机 内 部 ， 全 部 大 数据 交 给 计算 
机 处 理 ， 我 们 只 需要 保证 仿真 与 真实 完全 吻合 即 可 ， 过 程 一 目 了 然 ， 
结果 简单 可 行 

蒙特 卡 洛 模拟 ， 也 叫 统计 模拟 ， 这 个 术语 是 “二 战 ?时 期 美国 物理 
学 家 Metropolis 在 执行 曼哈顿 计划 的 过 程 中 提出 来 的 ， 其 基本 思想 很 时 
以 前 就 被 人 们 发 现 和 利用 。 蒙 特 卡 洛 模拟 是 一 种 通过 设 定 随机 过 程 ， 
反复 生成 时 间 序列 ， 计 算 参数 估计 量 和 统计 量 ， 进 而 研究 其 分 布 特征 
的 方法 。 蒙 特 卡 洛 模拟 方法 的 原理 是 当 问题 或 对 象 本 身 具 有 概率 特征 
时 ， 可 以 用 计算 机 模拟 的 方法 产生 抽样 结果 ， 根 据 抽样 计算 统计 量 或 
者 参数 的 值 ， 随 着 模拟 次 数 的 增多 ， 可 以 通过 对 各 次 统计 量 或 参数 的 
估计 值 求 平均 的 方法 得 到 稳定 结论 。 

蒙特 卡 洛 方法 是 一 种 通过 生成 合适 的 随机 数 和 观察 部 分 服从 一 些 
特定 性 质 或 属性 的 数据 来 解决 问题 的 方法 ， 通 过 在 计算 机 上 进行 统计 
抽样 实验 为 各 种 各 样 的 数学 问题 提供 了 近似 解 ， 这 种 方法 对 于 一 些 太 
复杂 以 至 很 难 分 析 求解 的 问题 得 到 数字 解法 是 非常 有 效 的 ， 而 且 同样 
也 适用 于 毫 无 概率 性 的 问题 和 内 在 固有 概率 结构 的 问题 。 


二 、 什 么 时 候 想起 小 数据 ? 


其 实 ， 小 数据 的 概念 并 不 神秘 ， 我 们 之 所 以 不 熟悉 小 数据 ， 是 因 
为 它们 时 时 刻 刻 存 在 于 我 们 的 生活 之 中 ， 是 生活 中 的 内 容 ， 亦 是 生活 
中 的 环境 。 我 们 已 经 在 前 面 简 单 了 解 了 小 数据 分 析 方 法 的 本 质 和 应 用 
方向 ， 但 我 们 还 是 要 进行 反思 ， 硕 望 你 也 能 和 我 们 一 起 思考 : 什么 时 
候 才 能 敏锐 地 察觉 到 目 己 正在 处 理 的 大 部 分 事情 ， 都 是 小 数据 问题 
呢 ? 


劳 统 地 讲 ， 小 数据 至 少 在 下 面 儿 个 领域 里 是 主流 的 分 析 方 法 : 


(1) 企业 决策 方案 的 制定 与 选择 。 一 直 以 来 ， 小 数据 能 够 解决 的 
是 一 个 职员 数量 有 限 、 行 业 容量 有 限 的 企业 的 个 性 化 发 展 问题 。 大 数 
据 的 魅力 再 大 ， 本 领 再 高 ， 我 们 在 进行 商业 决策 时 ， 都 要 结合 本 企业 
的 业务 特点 、 企 业 文化 、 战 略 思想 和 市 场 环境 、 行 业 发 展 、 监 管 力度 
进行 多 维度 的 深入 思考 。 商 业 决 策 的 复杂 程度 要 求 企业 更 新 运用 数据 
的 逻辑 ， 扩 展 数据 分 析 的 格局 ， 强 调用 新 技术 解读 个 体 旧 数据 的 小 数 
据 思维 。 具 体 来 说 ， 传 统 的 小 数据 分 析 方 法 可 能 不 再 完全 契合 企业 对 
于 决策 效果 的 预测 需求 ， 但 其 对 于 小 数据 本 质 的 透彻 理解 是 任何 新 技 
术 加 以 运用 的 基础 ， 因 此 对 于 传统 小 数据 分 析 技 术 ， 我 们 应 该 取 其 精 
华 、 去 其 糟粕 ， 在 时 代 发 展 的 进程 中 不 断 进 行 升 华 。 

(2) 有 限 数量 样本 的 聚 类 模型 。 如 国家 、 州 市 、 运 动 队 、 生 态 环 
境 、 行 业 研究 以 及 其 他 任何 总 体 本 身 是 有 限 的 情况 。 在 这 方面 ， 小 数 
据 的 作用 是 巨大 的 ， 聚 类 分 析 考察 的 是 不 同 数据 之 间 的 相似 度 。 比 
如 ， 考 察 一 个 行业 中 某 一 标准 下 所 有 企业 的 竞争 力 ， 通 过 小 数据 概念 
下 的 聚 类 分 析 就 可 以 将 企业 之 间 进 行 横向 比较 ， 从 而 找到 本 企业 与 行 
业 龙 头 相 比 所 欠缺 的 实力 。 又 如 ， 我 国 乒乓 球 运动 一 直 在 世界 上 独 领 
风骚 ， 日 本 、 韩 国 、 德 国 等 球 队 虽然 奋力 追赶 但 仍然 望尘莫及 ， 如 果 


我 们 能 对 这 些 国家 乒乓 球 国 家 队 的 竞技 术 平 的 相关 影响 因素 如 训练 方 
法 、 技 术 特点 、 教 练 水 平 、 人 种 因素 、 运 动员 身体 和 素质 甚至 是 政治 因 
素 、 秉 论 因素 等 都 纳入 考量 ， 加 以 量化 并 进行 聚 类 分 析 ， 相 信 可 以 从 
数据 层面 上 解读 我 国 国 球 傲视 群雄 的 原因 。 


(3) 科研 工作 中 理论 的 创新 和 实践 。 毫 无 疑问 ， 科 研 工作 离 不 开 
数据 的 文 持 ， 但 是 科研 工作 对 于 数据 的 要 求 是 很 高 的 。 多 年 以 前 ， 虽 
然 从 技术 水 平 上 来 说 ， 数 据 的 精度 不 高 且 容 易 出 现时 间 上 的 断 尺 ,但 
征 科 研 工 作者 以 其 严 到 的 数据 收集 和 处 理 的 态度 来 控制 样本 量 、 清 洗 
数据 ， 因 此 各 个 领域 的 学 科研 究 才 能 够 迅速 发 展 起 来 。 随 着 技术 的 发 
展 ， 人 类 对 未 知 领域 的 好 奇 心 越发 强烈 ， 数 据 的 体 量 也 急速 膨胀 ， 数 
据 洪 流 对 于 科研 工作 是 一 把 双 刃 剑 ， 如 何在 大 数据 与 小 数据 之 间 进 行 
取舍 和 平衡 ， 是 科研 工作 者 在 21 世 纪 一 个 严肃 又 活泼 的 课题 。 


(4) 哲学 思想 和 小 数据 思维 的 共通 。《 易 经 - 系 酬 》 中 所 谓 “ 形 而 
上 者 请 之 道 ， 形 而 下 者 请 之 侨 ， 化 而 裁 之 请 之 变 ， 推 而 行 之 请 之 通 ， 
举 而 措 之 天 下 之 民 请 之 事业 *。 在 这 里 我 们 需要 了 人 解 的 是 ， 形 而 上 是 指 
思维 的 和 安 观 的 范畴 ， 其 实 束 是 “ 道 "， 既 征 指 哲学 方法 ， 又 是 指 思维 
活动 。 形 而 下 则 是 指 具 体 的 ， 可 以 捉摸 到 的 东西 或 万 物 。"“ 化 而 裁 
之 ” 征 指 不 但 要 看 到 事物 的 变化 ， 更 重要 的 是 要 像 裁 颖 一 样 对 变化 处 置 
得 当 。 也 就 是 说 ， 要 能 够 确定 它 变 的 过 程 、 动 力 、 轨 迹 、 趋 同 是 什 
么 .…… 从 哲学 维度 上 看 ， 这 告诉 我 们 以 变化 的 思想 来 认识 和 看 竺 宇宙 
中 的 万 事 万 物 。 但 是 将 思想 落 到 实处 的 欧 是 去 捕 提 事物 变化 的 具体 表 
现形 式 一 一 各 种 各 样 的 小 数据 。《 周 易 : 系 酬 》 中 有 语 “ 仰 以 观 于 天 
文 ， 作 以 察 于 地 理 ， 是 故 知 贰 明之 故 ， 原 始 反 终 ， 玫 知 死生 之 说 ， 精 
气 为 物 ， 游 魂 为 变 ， 是 故 知 风神 之 情 状 *”。 宇 宙 有 它 的 妙趣 纷 练 、 形 态 
万 千 的 表现 : 天 上 有 日 月 星 尾 、 风 雷 云 南 ， 大 地 有 山川 河流 草木 ， 有 
人 类 及 诸 生物 ， 人 类 的 生存 有 着 日 出 而 作 日 落 而 妃 的 诸多 活动 ..…… 宇 
宙 目 然 的 本 质 规律 融 在 这 一 切 现象 中 三 现 出 来 ， 只 有 要 我 们 细心 观察， 
宇宙 、 大 目 然 的 本 质 束 可 以 被 察 识 、 推 求 ， 可 以 被 体悟 。 


所 以 我 们 遂 小 数据 研究 的 是 个 体 的 本 质 和 变化 ， 这 个 宁 旨 是 哲学 
思想 在 数据 层面 的 体现 和 运用 。 此 外 ， 数 据 的 理解 和 应 用 亦 有 其 “ 道 、 
法 、 术 、 絮 ”， 不 应 盲目 妃 求 技术 之 所 及 ， 而 应 沉 下 心 来 ， 探 索 数 据 和 
未 知 领域 的 深层 联系 。 


三 、 贝 叶 斯 真 的 能 推理 吗 ? 


朴素 的 贝 叶 斯 方法 依据 贝 叶 斯 定理 对 事物 的 现象 和 本 质 进行 推断 
和 分 析 。 即 便 如 此 ， 随 着 小 数据 的 内 涵 和 外 延 进 一 步 扩 展 ， 基 于 小 数 
据 的 贝 叶 斯 方法 可 以 用 于 更 加 精准 和 个 性 化 问题 的 预测 模型 建设 中 。 
也 就 是 说 ， 如 果 你 有 某 个 实体 的 充分 数据 ， 并 且 想 了 解 什 么 数据 对 于 
预测 特定 事件 是 最 有 用 的 ， 贝 叶 斯 网 络 非常 有 效 。 让 我 们 举 一 个 例子 
来 进行 说 明 。 

例如 ， 我 们 对 一 个 按揭 贷款 行为 中 借款 人 的 信用 风险 很 感 兴趣 ， 
并 且 我 们 在 做 资信 调查 时 已 经 收集 到 了 有 关 借款 人 、 抵 押 物 、 当 地 经 
济 条 件 等 方面 的 大 量 多 维 数据 。 这 时 通过 绘制 的 贝 叶 斯 网 络 图 可 以 帮 
助 我 们 分 析 问 题 。 一 个 贝 叶 斯 简明 网 络 代表 一 个 数学 图 中 变量 之 间 关 
系 的 系统 ， 作 为 节点 的 变量 和 作为 边 的 有 条 件 的 依赖 关系 就 通过 这 个 
贝 叶 斯 网 络 图 表示 出 来 。 如 图 4-2 所 示 的 贝 叶 斯 网 络 图 可 以 帮助 我 们 认 
识 并 且 权衡 每 个 数据 项 的 信息 价值 ， 便 于 集中 精力 关注 对 借款 人 违约 
还 款 风险 影响 较 大 的 因素 。 


购买 价格 
本 地 就 业 市 场 
当前 价值 


预付 款 率 违约 率 


图 4-2 借款 人 信用 风险 的 贝 叶 斯 网 络 图 


通过 绘制 如 上 图 所 示 的 简单 册 叶 斯 网 络 ， 可 以 将 因 变 量 的 影响 因 
素 和 作用 关系 以 一 种 可 视 化 的 方式 进行 标示 ， 继 而 建 模 。 和 需要 注意 的 
征 ， 在 这 样 的 贝 叶 斯 网 络 中 ， 各 个 变量 之 间 的 作用 关系 以 实际 关系 为 
基准 ， 而 不 需要 假定 目 变 量 只 作用 于 因 变量 。 比 如 ， 月 工资 作为 借款 
人 还 于 能 力 和 意愿 的 重要 衡量 指标 ， 在 既往 的 分 析 中 ， 我 们 也 是 只 考 
察 其 对 违约 率 的 直接 影响 。 而 在 贝 叶 斯 网 络 中 ， 我 们 可 以 看 到 月 工资 
水 平 受 到 贷 球 金 额 的 影响 ， 叉 与 股权 的 购买 和 置换 有 直接 联系 ， 股 权 
的 掌握 又 能 够 直接 作用 于 预付 款 率 和 违约 率 ， 预 付款 率 又 能 直接 作用 
于 违约 率 。 也 束 是 说 ， 某 一 个 单独 的 目 变 量 既 可 以 单独 影响 因 变 量 ， 
也 可 以 通过 作用 于 其 他 目 变 量 而 间接 影响 因 变 量 。 因 此 ， 当 与 业务 利 


益 相 关 者 共同 定义 某 个 预测 模型 问题 的 时 候 ， 这 是 一 个 很 有 价值 的 探 
索 数 据 的 工具 。 


四 、 回 归 分 析 是 力 大 无 穷 的 ! 


大 部 分 学 习 统 计 分 析 和 市 场 研究 的 人 都 会 用 回归 分 析 ， 操 作 也 比 
较 人 简单 。 但 能 够 知道 多 元 回归 分 析 的 适用 条 件 或 是 如 何 将 回归 应 用 于 
实践 ， 可 能 还 要 真正 领会 回归 分 析 的 基本 思想 。 线 性 回归 思想 包含 在 
其 他 多 变量 分 析 中 ， 例 如 ， 判 别 分 析 的 目 变 量 实际 上 是 回归 ， 尤 其 是 
Fisher 线 性 回归 方程 ，Logistics 回 归 的 自 变量 也 是 回归 ， 只 不 过 是 计算 
线性 回归 方程 的 得 分 进行 了 概率 转换 ， 甚 至 因子 分 析 和 主 成 分 分 析 最 
终 的 因子 得 分 或 主 成 分 得 分 也 是 回归 算出 来 的 ， 当 然 ， 还 有 很 多 分 析 
最 终 也 是 回归 思想 ! 因此 我 们 说 多 元 线性 回归 分 析 非 第 强大 ， 是 因为 
其 以 各 种 各 样 分 析 方 法 和 形态 展现 着 目 变 量 和 因 变 量 之 间 的 因果 关 
系 。 


在 市 场 经 济 活动 中 ， 多 元 线性 回归 分 析 预 测 方法 可 以 对 市 场 的 发 
展 和 变化 与 其 影响 因素 之 间 的 依存 天 系 进行 测算 。 比 如 ， 预 测 房价 走 
势 、 股 票 的 走势 、 医 院 管理 效果 的 预 判 、 城 市 用 水 量 的 预测 、 企 业 人 
才 需 求 的 预 佑 、 企 业 风 险 控 制 效果 的 测评 、 道 路 交通 事故 的 分 析 与 预 
测 等 。 这 里 我 们 举 一 个 实例 来 说 明 多 元 线性 分 析 的 操作 步骤 是 怎样 
的 。 

例如 ， 在 公路 客 货运 输 量 的 预测 过 程 中 ， 首 先 采 取 定 性 和 定量 的 
方法 来 确定 影响 公路 客 货运 输 量 的 因素 如 人 口 增长 量 、 国 内 生产 总 
值 、 国 民工 资 水 平 、 铁 路 及 水 运 客 运 量 、 人 口 货车 保有 量 、 主 要 工农 
业 产 品 产 量 、 社 会 商品 购买 力 、 水 陆 空 货运 量 等 。 上 述 影 响 因素 是 研 
完 人 员 基 于 文献 饶 究 和 实践 经 验 进行 的 分 析 和 汇总 ， 但 在 具体 操作 过 
程 中 有 影响 因素 的 数目 可 以 根据 重要 程度 进行 沂 和 渤 。 如 有 果 遗 漏 了 比较 重 
要 的 影响 因素 ， 模 型 的 预测 结 采 将 会 大 打折 扣 ， 同 时 ， 如 采 影 响 因 素 
太 少 ， 则 会 使 模型 敏感 度 太 高 ， 同 样 造成 结 采 的 失真 。 但 如 有 宁 加 入 了 


太 多 的 影响 因素 ， 则 会 造成 模型 计算 的 复杂 化 ， 且 随机 误差 较 大 。 因 
此 影响 因素 的 确定 与 选择 还 要 考虑 很 多 模型 方面 的 假定 和 限制 条 件 ， 
这 也 是 很 多 分 析 问 题 要 寻求 专家 的 聪明 才智 和 经 验 来 确定 影响 因素 的 
主要 原因 。 


完成 影响 因素 的 确定 即 目 变量 的 选取 环节 后 ， 束 要 建立 线性 回归 
方程 了 。 利 用 最 小 二 乘法 原理 寻求 使 平方 和 达到 最 小 的 线性 回归 方 
程 。 紧 接着 束 要 进行 数据 整理 。 收 集 历年 的 客 、 货 运输 量 和 各 目 变 量 
的 统计 资料 进行 整理 、 审 核 数据 清洗 工作 。 样 本 数据 的 清洗 和 调整 工 
作对 于 模型 预测 效果 的 影响 是 很 大 的 ， 因 此 这 个 环节 要 格外 细致 严 
齐 。 


有 了 规范 化 的 样本 数据 后 ， 束 可 以 对 各 目 变 量 的 权重 值 即 参数 进 
行 估 计 了 。 在 实际 预测 中 ， 有 多 种 参数 售 计 的 方法 ， 应 根据 具体 问题 
来 选取 最 合适 的 方法 。 参 数 估计 结束 后 ， 估 计 结 采 是 否 令 人 满意 需要 
经 过 重重 的 检验 才能 确定 。 一 般 的 检验 工作 必须 从 五 个 方面 来 进行 。 
中 经 济 意义 检验 : 对 于 经 济 预测 的 数学 模型 ， 首 先 要 检验 模型 是 否 具 
有 经 济 意 义 。 帮 参数 估计 值 的 符号 和 大 小 与 公路 运输 经 济 发 展 与 经 济 
判别 不 符合 时 ， 这 时 所 估计 的 模型 束 不 能 或 很 难 解释 公路 运输 经 济 的 
一 般 发 展 规律 。 那 么 这 个 模型 其 实 就 是 无 效 的 。@ 统 计 检 验 : 统计 检 
验 主要 是 用 来 检测 模型 的 参数 估计 的 可 靠 性 。(3) 拟 合 优 度 检验 ， 拟 合 
优 度 是 指 所 建立 的 模型 与 观察 的 实际 情况 轨迹 是 否 吻合 、 搂 近 ， 接 近 
到 什么 程度 。 统 计 学 上 是 通过 用 样本 数据 构造 R* 统 计量 来 测度 拟 合 优 
度 的 ，R* 越 接近 于 1， 表 示 模 型 拟 合 得 越 接 近 实 际 。(9 回 归 方 程 的 显著 
性 检验 ， 通 过 方 莽 分 析 构 造 F 统 计量 来 进行 某 一 置信 水 平 下 方程 的 显著 
性 检验 ， 从 而 判断 回归 分 析 方 程 的 总 体 效 果 。( 引 参数 估计 值 的 标准 差 
检验 : 估计 值 的 标准 差 是 衡量 估计 值 与 真实 参数 值 的 离 差 的 一 种 测 
度 。 参 数 的 标准 震 越 大 ， 佑 计 值 的 可 靠 性 也 束 越 小 。 通 过 构造 大 统计 
量 判断 在 某 一 置信 水 平 下 参数 估计 值 的 可 靠 性 。 


然后 ， 需 要 确定 最 优 回归 方程 并 将 其 运用 到 实际 经 济 活动 中 来 检 
测 回归 方程 的 预测 能 力 。 最 后 ， 也 是 画龙点睛 的 一 个 环节 就 是 将 回归 
分 析 的 参数 估计 结果 转化 为 理论 研究 和 经 济 生活 治理 的 重要 依据 。 在 
公路 客 货运 输 量 预测 问题 中 ， 回 归 分 析 结果 首先 可 以 直观 地 看 出 各 变 
量 的 影响 大 小 ， 从 而 进一步 完善 相关 理论 ， 其 次 参数 估计 的 结果 也 可 
以 预测 该 地 区 今后 年 份 公路 客 货运 输 量 的 变化 ， 从 而 为 相关 联 的 公路 
运输 市 场 、 政 策 以 及 相关 项 目 投资 的 前 景 做 出 预 判 ， 最 后 ， 可 以 从 安 
观 角度 测度 公路 客 货运 输 量 对 经 济 政策 等 因素 的 敏感 度 ， 以 便 进行 政 
策 评价 。 

公路 客 货运 输 量 问题 只 是 多 元 线性 回归 分 析 应 用 的 一 个 小 小 场 
景 ， 回 归 分 析 的 应 用 领域 非常 广阔 ， 效 果 往 往 也 很 有 价值 ， 因 此 各 个 
层次 的 分 析 人 员 都 喜欢 不 断 研究 回归 分 析 方法 。 在 大 数据 时 代 下 ， 随 
着 机 器 学 习 不 断 成 为 潮流 ， 回 归 分 析 的 光芒 似乎 有 所 时 淡 ， 但 事实 
上 ， 机 器 学 习 是 一 个 新 领域 的 概念 ， 回 归 分 析 仍 然 是 主流 的 分 析 方 
法 。 


五 、 让 小 数据 如 近 真 相 


随机 模拟 思想 的 锥 形 可 以 追溯 到 著名 的 薄 丰 问题 ( 投 针 试 验 ) 计 
算 圆 周 率 r， 但 其 实验 过 程 及 计算 比较 麻烦 ， 今 天 我 们 介绍 一 种 更 为 简 
洁 、 直 观 的 计算 圆周 率 的 方法 ， 方 便 大 家 更 好 地 理解 随机 模拟 的 原 
理 。 

我 们 先 构造 一 个 定 积分 /= [iT= wu ， 然 后 画 出 图 4.3， 显 然 这 个 定 
积分 就 是 图 中 阴影 部 分 的 面积 ， 即 单位 圆 的 /4 (mw4) 。 为 了 求 出 r 的 
值 ， 我 们 要 计算 出 这 个 积分 的 值 。 


S 


图 4-3 蒙特 卡 洛 法 求 阴 影 面积 


我 们 把 被 积 画 数 与 坐标 轴 围 成 的 阴影 部 分 称 为 区 域 A， 阴 影 部 分 
所 在 的 四 方形 称 为 区 域 B， 区 域 A 就 代表 了 积分 值 。 考 虑 随机 地 向 区 域 
B 内 投 点 (x,y) ， 则 点 (x,y) 落 入 区 域 A 的 频率 p 就 是 : p=p= 全， 
接着 我 们 进行 无 数 次 投 点 ， 只 要 我 们 进行 足够 多 次 数 的 投 点 ， 就 可 以 
得 到 一 个 相对 准确 的 估 值 5»， 进 而 由 估 值 p 计 算出 A 〈 即 my4) 的 值 ， 我 
们 就 可 以 计算 出 圆周 率 的 近似 值 。 

其 实 可 以 看 出 ， 上 述 方法 也 是 一 种 计算 定 积分 的 数值 的 方法 ， 蒙 
特 卡 洛 模拟 方法 对 于 计算 复杂 的 积分 问题 十 分 便捷 。 我 们 再 看 一 个 简 
单 的 大 家 比较 好 理解 的 例子 模拟 无 理 数 /3 。 


由 平方 12<3<22， 我 们 得 知 3 是 一 个 大 于 1 且 小 于 2 的 数 ， 而 3 具体 值 
我 们 只 是 直接 被 科学 地 告知 约 等 于 1.732， 但 具体 为 什么 我 们 却 没有 给 
出 明确 解释 ， 其 实 像 这 种 无 理 数 并 不 是 都 不 可 算 ， 下 面 我 们 就 应 用 获 
特 卡 洛 法 来 对 其 进行 计算 验证 ， 并 且 我 们 也 可 以 由 此 类 推 去 计算 其 他 
一 些 无 理 数 的 值 。 

如 图 4-4 所 示 ， 已 知 DABCD 是 边 长 为 1 的 正方 形 ， 人 ABE 是 等 边 三 
角形 ， 八 ABE 的 面积 等 于 (sin 60") /2， 也 即 是 /3 /4。 同 时 ， 通 过 计 
算 机 实验 我 们 可 以 在 DABCD 区 域内 产生 大 量 服从 均匀 分 布 的 随机 
数 ， 由 蒙特 卡 洛 概率 算法 ， 当 随机 数 的 数量 足够 大 时 ， 八 ABE 的 面积 
比 上 DABCD 的 面积 近似 等 于 落 入 人 ABE 区 域内 随机 数 的 个 数 比 上 
DABCD 区 域内 所 有 随机 数 的 个 数 。 由 此 ， 我 们 可 以 根据 计算 机 模拟 计 
算 3 束 等 于 4 售 的 八 ABE 区 域内 随机 数 的 个 数 比 DABCD 区 域内 所 有 随机 
数 的 个 数 的 值 。 


图 4-4 蒙特 卡 洛 法 求 


除了 数学 及 统计 学 专业 人 研究 上 的 应 用 ， 蒙 特 卡 阁 模 拟 也 越 来 越 被 
广泛 地 应 用 于 经 济 、 风 险 、 物 理 、 生 物 等 多 个 领域 。 绽 特 卡 洛 模 拟 不 
仅 是 一 种 优秀 的 研究 方法 ， 也 征 日 常 商业 活动 中 不 可 或 缺 的 分 析 法 。 
如 某 零售 商 硕 望 进行 一 次 商业 宫 销 活动 ， 并 已 经 通过 历史 避 销 数据 建 
立 了 相应 预测 模型 ， 但 不 能 确定 得 营销 的 客户 名 单 中 会 有 多 少 人 啊 
应 ， 和 需要 做 多 少 的 商品 备货 及 预算 。 此 时 ， 便 可 使 用 蒙特 卡 党 模拟 ， 
根据 客户 整体 数据 ， 进 行 大 量 模拟 响应 测试 ， 然 后 分 析 响 应 人 数 的 分 
布 情况 ， 从 而 根据 各 种 结果 出 现 的 概率 来 判断 可 能 需要 应 对 的 极端 情 
况 。 同 样 在 财务 分 析 管 理 方 面 ， 如 某 企 业 发 现 了 一 个 项 目 机 会 ， 未 来 
可 为 企业 市 来 定期 的 现金 流 收 入 ， 但 流入 的 金额 大 小 是 不 能 完全 确定 
的 。 此 时 ， 为 了 评估 项 目 是 否 值得 投入 及 其 授 入 风险 ， 束 可 以 利用 索 


等 卡 洛 技术 ， 根 据 同类 项 目的 历史 数据 ， 模 拟 其 未 来 的 现金 流 大 小 以 
及 市 场 折 现 率 ， 帮 助 评 佑 该 项 目的 净 现 值 ， 来 辅助 此 类 的 重大 决策 。 


六 、 与 小 概率 平起平坐 


我 们 生活 的 最 大 特点 是 不 确定 性 ， 随 机 现象 比比 省 是 ， 大 起 大 落 
党 第 发 生 在 须 奥 之 间 。 当 随机 性 的 墨 天 法 出 现时 ， 你 可 能 一 夜 又 亩 ， 
也 可 能 在 一 次 失误 中 回 到 原点 。 但 我 们 天 生 倾 向 于 忽视 低 概率 事件 的 
可 能 性 ， 无 论 这 些 事件 会 引发 多 大 的 灾难 。 《随机 漫步 的 傻瓜 》 以 深 
刻 独到 的 视角 ， 告 诉 我 们 这 个 随机 世界 的 规律 和 运行 方式 。 随 机 性 虽 
然 无 法 避免 ， 但 我 们 可 以 学 着 接受 它 。 台 像 在 投资 市 场 上 ， 如 采 一 个 
小 概率 事件 可 以 市 来 巨 御 回报 ， 为 什么 不 在 这 个 事件 上 持续 下 注 呢 ? 
换 一 种 思维 方式 ， 做 “随机 漫步 的 傻瓜 "， 我 们 对 人 生 的 了 解 无 锋 将 大 
为 增进 。 

自 启蒙 运动 以 来 ， 在 理性 主义 (我 们 希望 事物 是 什么 样子 ， 才 能 
让 我 们 觉得 有 道理 ) 和 经 验 主义 (事物 实际 的 样子 ， 的 对 立 中 ， 我 们 
一 直 在 贡 怪 这 个 世界 是 不 符合 “理性 ”模型 的 “普罗 克拉 斯 提 斯 之 床 ”， 
一 直 在 等 试 改变 人 们 以 适应 技术 ， 改 变 伦理 以 适应 我 们 对 雇用 的 需 
求 ， 改 变 经 济 生活 以 适应 经 济 学 家 的 理论 ， 努 力 把 人 生 塞 进 某 种 叙事 
框架 之 中 。 


当 我 们 对 未 知事 物 的 表现 和 对 随机 效应 的 理解 出 错时 ， 如 果 这 个 
错误 不 会 导致 负面 的 结 有 末 ， 那 我 们 束 是 强壮 的 一 一 否则 我 们 天 是 脆弱 
的 。 强 壮 的 人 能 够 从 黑 天 物事 件 中 获 益 ， 脆 弱 的 人 则 会 受到 此 类 事件 
的 严重 冲击 。 我 们 正 因为 科学 上 的 某 种 目 我 中 心 主义 而 变 得 越 来 越 脆 
弱 ， 越 来 越 倾 同 于 对 未 知 的 东西 提出 充满 目 信 的 结论 一 一 这 导致 了 问 
题 、 风 险 ， 以 及 对 人 类 错误 的 挛 重 依赖 。 正 如 《随机 生存 的 智慧 》 中 
描述 的 那样 ， 学 习 随 机 世界 中 的 生存 六 茵 ， 破 除 我 们 惯用 的 虚假 模 
式 ， 从 容 不 迫 地 应 对 生活 中 的 各 种 难题 ， 展 示 我 们 从 未 意识 到 的 终极 


一 、 小 数据 决定 人 工 智 能 的 未 来 


2001 年 上 了 映 的 科幻 片 《 人 工 智能 》 (Artificial Intelligenc) ， 使 我 
们 第 一 次 直观 地 认识 了 “人 工 智能 ”这 个 概念 。 电 影 中 讲述 的 是 一 个 生 
存 着 大 量 机 器 人 的 世界 ， 它 们 在 人 类 的 生活 中 扮演 不 同 的 角色 ， 为 人 
类 提供 各 种 服务 。 这 些 机 器 人 有 人 类 的 样 狐 ， 有 发 达 的 大 脑 ， 它 们 可 
以 独立 地 思考 ， 可 以 辩证 地 去 看 竺 问题， 可 以 完美 地 完成 人 类 下 达 的 
和 令 ， 拥 有 一 定 的 感觉 ， 甚 至 是 像 人 类 一 样 生活 。 机 器 人 制造 者 意识 
到 ， 这 样 的 机 器 人 ， 虽 然 拥 有 比 人 类 发 达 的 大 脑 ， 但 是 却 缺 少 了 一 样 
东西 一 ”感情 。 于 是 小 主人 公 David 的 创造 ， 就 被 植 入 了 感情 的 学 习 模 
式 。 在 家 庭 生 活 的 过 程 中 一 点 一 滴 学 习 人 类 的 行为 模式 、 情 感 模式 ， 
拥有 了 爱 、 恨 、 嫉 妒 等 不 同 的 感情 ， 努 力 地 成 为 真正 意义 上 的 人 ， 这 
样 的 情节 设 定 引 起 了 我 的 注意 。 人 工 智 能 到 底 是 什么 ? 是 一 堆 程 序 和 
硬件 组 成 的 钢铁 架 ? 是 电影 中 可 以 说 话 、 思 考 的 泰 迪 能 ? 还 是 拥有 人 
类 的 外 表 、 思 维和 情感 的 机 器 人 ? 这 些 东 西 是 不 是 有 一 天 真 的 会 实 
现 ? 又 是 如 何 实现 的 呢 ? 


1950 年 ， 艾 伦 :图 灵 的 图 灵 测 试 ， 提 出 了 机 器 学 习 、 数 学 证 明 、 知 
识 推理 等 技术 和 应 用 。 但 是 在 当时 ， 计 算 机 的 技术 还 没有 那么 发 达 ， 
逻辑 算法 也 还 没有 形成 体系 ， 人 工 智 能 的 发 展 因 此 受到 了 一 定 的 局 
限 。1955 年 ， 科 学 家 做 了 一 个 “逻辑 专家 ”的 程序 ， 这 个 程序 将 所 有 问 
题 做 成 了 一 个 树 形 的 模型 ， 进 而 选择 正确 的 一 个 来 求解 ， 这 个 程序 被 
认为 是 最 早 的 人 工 智能 。1956 年 的 达 特 茅 斯 会 议 上 ， 人 工 状 能 的 概念 
被 正式 所 出来， 约翰 :麦卡锡 在 此 次 会 议 上 给 出 了 人 工 智能 的 定义 : 人 
工 智能 束 是 要 让 机 器 的 行为 看 起 来 束 像 是 人 所 表现 出 的 六 能 行为 一 
样 。 而 后 ， 有 科学 家 利用 彼 炸 机 上 的 装置 模拟 出 了 40 个 神经 元 组 成 的 


网 络 。 但 是 在 当时 ， 由 于 计算 机 硬件 条 件 的 限制 ， 人 工 智 能 并 未 引起 
重视 ， 甚 至 有 看 法 认为 ， 人 工 智能 无 法 实现 。 

到 了 20 世 纪 70 年 代 ， 基 于 符号 学 派 的 技术 的 产生 让 人 工 智 能 有 了 
新 的 作为 。 但 这 时 候 的 人 工 智能 是 由 专家 编制 规则 ， 然 后 进行 符号 扒 
理 的 ， 所 以 机 器 只 能 作为 被 动 的 输出 方 ， 并 未 进行 自主 的 学 习 和 扒 
理 ， 也 无 法 自行 改变 逻辑 。 这 一 时 期 研究 人 员 也 提出 了 机 器 视觉 方面 
的 理论 ， 让 机 器 自主 地 辨认 图 片上 面 的 信息 。 

到 了 20 世 纪 80 年 代 , “机 器 学 习 * 开 始 出 现 。 利 用 统计 模型 ， 将 问 
题 转化 成 统计 学 概率 分 布 ， 用 这 样 的 概念 去 发 展 人 工 智能 。 使 用 最 多 
的 传统 方法 为 贝 叶 斯 方法 。 人 工 智能 在 苹果 机 和 IPBM 上 的 应 用 软件 ， 
出 现 了 语音 和 文字 识别 。 与 此 同时 ， 人 工 搭 建 的 神经 网 络 也 开始 发 展 
起 来 。 科 学 家 提出 了 强人 工 智能 和 弱 人 工 智 能 的 概念 。 强 人 工 智能 观 
点 认为 ， 机 器 是 可 以 有 自己 的 观点 、 知 觉 、 意 识 的 ， 能 够 像 人 类 一 样 
思考 。 弱 人 工 智能 观点 认为 ， 机 器 不 会 拥有 自己 的 逻辑 和 意识 。 

从 2010 年 开始 ， 随 着 深度 学 习 技术 的 成 熟 ， 人 工 智能 开始 逐渐 普 
遍地 应 用 在 我 们 的 生活 中 。 到 今天 ， 各 行 各 业 开始 意识 到 人 工 智 能 对 
于 行业 的 重要 性 ， 并 将 人 工 智能 的 应 用 和 发 展 提 上 了 日 程 。 如 今 的 人 
工 智能 技术 ， 除 了 加 深 逆 辑 轧 维 的 开发 ， 更 多 的 是 考虑 到 人 们 生活 的 
实际 需求 。 如 应 用 在 医学 领域 的 BM 沃 森 系统 ， 保 密 系统 的 人 脸 、 声 
音 识别 ， 网 上 购物 的 推荐 等 。 目 前 这 些 应 用 已 经 在 发 挥 着 自己 的 作 
用 ， 但 是 依旧 有 一 些 缺 陷 需要 科学 家 去 解决 ， 优 化 算法 以 得 到 更 准确 
的 信息 反馈 ， 提 高 机 器 的 学 习 能 

今天 的 人 工 智能 技术 由 很 多 的 算法 组 成 ， 表 5-1 显 示 了 人 工 智能 技 
术 的 关键 词语 。 对 于 开发 者 来 说 ， 人 工 智 能 的 方法 由 很 多 专业 术语 组 
成 ， 随 机 森林 、 机 器 学 习 、 元 逻辑 、 量 子 计算 等 ， 这 些 理论 和 逻辑 扒 
动 了 人 工 智能 的 不 断 前 行 。 

表 5-1 人 工 智能 的 术语 


阶段 术 语 


机 器 人 机 器 人 三 定律 
小 白 消灭 工作 毁灭 人 类 
意识 Alpha Go 
神经 网 络 深度 学 习 
知识 图 谱 分 类 
聚 类 预测 回归 
pi 时 间 序列 分 析 概论 。 | 演绎 
精 专家 系统 机 器 翻译 
自然 语言 处 理 知识 
人 脸 识别 语音 助手 
图 搜索 启发 式 搜索 
模拟 退火 命题 多 各 
自然 演 经 自动 机 
特征 工程 分 布 式 学 习 
严肃 的 刚刚 a i 
开始 Protog 程序 Llsp/Scheme/Clojure 语言 
aa 对 话 系统 贝 叶 斯 网 络 自动 规划 
线性 回归 局 域 回归 
辨别 模型 朴素 贝 叶 其 
BP 网 络 核 方法 
主 分 量 分 析 PCA | ”支持 矢量 机 SVM 


阶段 术 语 
马尔 科 夫 随机 场 MRF 框架 问题 决策 树 
随机 森林 感知 器 KNN 学 习 
严 下 的 刚刚 语言 模型 分 词 实体 识别 
开始 关系 提取 句法 分 析 语义 分 析 
| 篇 章 分 析 情感 分 析 文本 摘要 
TF-IDF 技术 LDA 模型 奥 卡 姆 剃刀 
卷 积 滤波 
二 阶 逻辑 自动 定理 证 明 机 器 人 三 定律 
SAT 问题 CSP 问题 描述 逻辑 
答题 规划 概念 图 RDF/OWL 
概念 修正 因果 分 析 过 程 规则 
推理 解释 前 向 链 推理 反 向 链 推理 
逻辑 归结 模糊 推理 语义 网 
多 AGENT 系统 竞争 神经 网 络 自 组 织 特征 映射 
到 这 里 才 贝 叶 斯 神经 网 络 期 望 最 大 化 图 模型 
开始 理解 分 布 检验 MCMC 采样 Gibbs 采样 
什么 是 AL | 隐 马 尔 可 夫 模型 HMM | 。 Hopfield 网 络 放射 基 网 络 
规则 学 习 句法 归纳 遗传 算法 
进化 程序 强化 学 习 迁移 学 习 
表示 学 习 继承 学 习 细胞 自动 机 
人 工 生命 卡尔 曼 滤波 傅立叶 变换 
马尔 科 夫 决策 过 程 MDP 卷 积 神经 网 络 循环 神经 网 络 


对 抗 学 习 排序 学 习 
Haskell 语言 
阶段 术 语 
可 能 世界 模型 局 部 请 议论 
Institution 论 推理 复杂 性 
逐渐 远离 人 类 
i We 
模 态 逻辑 时 态 逻 辑 域 态 逻辑 
时 间 清 算 空间 逻辑 认 知 逻辑 
非 单调 逻辑 缺 省 逻辑 值 逻 辑 
Circumscription ( 限界 ) 认 知 机 器 人 分 布 式 推理 
VC 理论 PAC 可 学 习性 
逐渐 远离 人 类 公理 集合 论 Lambda 测算 
效用 论 博弈 论 
无 免费 午餐 定理 渐进 通 近 定理 
微分 动力 系统 势 函 数 选择 公理 
流行 学 习 低 维 嵌入 变 分 推理 
欢迎 加 入 硅 基 | ” 超 递归 可 枚 举 计 算 “| 不 可 计算 实数 神经 网 络 量子 计算 
Kolmogorov-chaitin 
计算 认识 论 请 义 信息 论 re - 
计算 学 习 理 论 社会 机 器 元 认 知 
外 记忆 心智 扩展 心 物 问 题 


目前 ， 我 们 的 日 常生 活 中 融入 了 很 多 人 工 智 能 技术 。 从 苹果 手机 
的 Siri、 谷 歌 翻译 、 智 能 家 居 ， 到 金融 行业 反 其 诈 软件 、 军 事 训 练 、 城 
市 交通 等 ， 这 些 人 工 智能 的 引入 ， 让 我 们 的 生活 更 加 便捷 。 尽 管 有 些 
人 工 智能 还 不 能 完全 做 到 机 器 自行 思考 ， 但 是 已 经 可 以 很 好 地 完成 指 
令 ， 对 于 已 知事 件 的 预测 和 执行 的 准确 率 已 经 很 高 了 。 与 人 类 做 对 
比 ， 人 工 智 能 在 某 些 方面 已 经 可 以 超越 人 类 的 思维 。 这 些 人 工 智能 依 
靠 大 数据 进行 学 习 ， 从 而 提高 判断 的 准确 率 。 对 于 小 数据 而 言 ， 人 工 
智能 仍然 有 很 大 的 发 展 空间 。 在 原 有 的 基础 上 ， 利 用 小 数据 ， 根 据 个 
人 的 情况 进行 综合 的 判断 ， 这 样 的 人 工 智能 会 更 加 贴近 人 们 的 生活 。 
探寻 和 训练 人 工 智 能 在 个 体 数 据 和 小 整体 上 的 优化 可 为 未 来 的 发 展 提 
供 方向 〈 详 见 图 5-1) 。 
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图 5-1 人 工 短 能 的 未 来 蓝图 


二 、 谁 控制 了 小 数据 谁 才 是 赢家 


(一 ) 无 人 要 驶 系统 : 小 数据 应 用 的 新 战场 


2014 年 ， 竺 斯 拉 公 司 开始 使 用 Autopilot 辅 助 区 驶 软件 。 这 款 软件 
古 安 装 在 车 里 、 辅 助 驾 驶 员 行 驶 的 软件 ， 通 过 收集 路 面 信息 来 进行 车 
速 的 控制 ， 避 人 免 碰 撞 和 打滑 。 虽 然 安 疾 了 这 个 系统 ， 但 是 仍然 需要 人 
来 进行 控制 ， 并 对 周围 的 环境 有 所 警觉 和 提 醋 。 尽 管 2016 年 私有 这 款 
系统 的 汽车 发 生 了 一 起 严重 事故 ， 但 是 经 过 对 比 ， 攻 有 这 球 人 工 智能 
控制 系统 的 汽车 出 现 事 故 的 概率 确实 降低 了 。 这 说 明 人 工 知 能 对 车 辆 
行驶 的 安全 性 提高 了 很 多 ， 为 未 来 汽车 雪 驶 软件 的 制造 提供 了 样板 。 

2015 年 7 月 20 日 ， 美 国 密 拘 根 大 学 与 密 菊 根 政府 及 社区 合作 ， 在 密 
敬 根 大 学 设立 了 一 个 全 新 的 模拟 城市 Mcity (如 图 5-2 所 示 ) ， 这 是 一 
个 占 地 32 英 再 〈 约 194 亩 ) 的 模拟 城市 。 在 这 个 模拟 城市 中 ， 密 歇 根 大 
学 希望 能 够 进行 试 芹 ， 以 改善 地 区 的 交通 安全 、 效 率 以 及 可 持续 性 。 
Mcity 因 此 成 为 了 世界 上 第 一 个 受到 控制 的 环境 ， 在 这 样 的 城市 中 ， 主 
要 用 于 测试 连接 和 上 自动 化 车 辆 的 技术 。 
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os MObility Transiormation Facility 
图 5-2 密 鞭 根 大 学 无 人 驾驶 Mcity 试 验 场地 说 明 图 


Mcity 中 有 我 们 非常 败 悉 的 城市 交通 特征 ， 如 交叉 路 口 、 铁 路 道 、 
两 个 回旋 处 、 态 石 路 和 停车 位 等 ， 还 有 模拟 的 高 速 公路 入 口 、 坡 道 、 
人 行道 、 金 属 桥 和 隧道 。 这些 对 于 无 人 驾驶 技术 来 说 部 是 至 天 重要 
的 ， 元 其 是 在 考 狼 传感器 性 能 和 敏感 度 方面 。 与 此 同时 ， 除 了 应 用 和 
改善 无 人 芍 驱 技术 ， 检 测 传 感 侨 的 灵敏 和 应 用 程度 ， 该 试验 还 斋 刻 能 
够 测试 所 请 的 连接 车 辆 。 这 些 连接 的 汽车 或 着 设施 之 间 可 以 进行 相互 
通信 ， 从 而 在 事故 发 生前 停止 汽车 行进 。 对 所 有 的 障碍 物 、 桥 梁 、 行 
人 ， 我 们 都 能 想象 成 一 个 个 不 同 的 信号 。 当 车 辆 行进 时 ， 这 些 物体 可 
以 告诉 汽车 ， 前 方 有 障碍 、 有 冰雪 ， 可 能 会 出 现 车 辆 打 衫 、 磁 接 的 危 
险 ， 这 样 的 信和 号 传输 让 车 辆 能 够 在 极 短 的 时 间 里 做 出 避让 的 决策 和 反 
[se 


在 测试 中 ， 汽 车 行驶 的 速度 并 不 算 高 ， 人 、 车 的 传感器 反应 比较 
灵敏 。 由 于 密 鞭 根 的 气候 原因 ，Mecity 可 以 在 雨 、 雪 甚至 是 龙卷风 、 暴 
风 雪 等 极端 天 气 的 情况 下 进行 测试 ， 对 于 无 人 鸭 驶 汽车 的 性 能 提升 有 
很 大 的 帮助 。 

2017 年 秋天 ， 无 人 芍 驶 汽车 已 经 在 校园 之 间 提 供 校车 服务 。 麦 卡 
锡 机 械 工程 学 院 的 教授 表示 , “这 个 在 校园 内 进行 的 自动 化 班车 服务 是 
一 个 关键 的 研究 项 目 ， 它 将 帮助 我 们 了 解 这 种 移动 服务 所 带 来 的 挑战 
和 机 遇 ， 以 及 人 们 如 何 与 之 进行 互动 。 校 车 将 增加 U-M 繁 忙 的 校园 巴 
十 服务 ， 提 供 另 一 种 行动 选择 ”。 校 车 目前 已 在 密歇根 大 学 的 北 校区 和 
中 校区 运行 ， 车 程 大 约 15 分 钟 。 

根据 设想 ，Mcity 还 有 跟踪 乘客 和 使 用 模式 ， 对 用 户 的 经 验 进行 调 
查 ， 收 集 的 数据 将 有 助 于 研究 人 员 了 解 如 何 设计 更 安全 的 车 辆 以 及 如 
何 更 有 效 地 操作 它们 。 想 象 一 下 ， 当 学 生 和 教师 坐 在 车 上 ， 只 需 告 知 
汽车 目的 地 ， 汽 车 会 自主 地 规划 行进 路 线 ， 根 据 多 维 的 数据 信息 进行 
处 理 ， 安 全 、 快 速 地 送 学 生 和 教师 到 达 目 的 地 。 

除了 作为 校车 ， 这 样 的 无 人 芍 驶 技术 在 物流 等 行业 也 可 以 有 很 大 
的 发 展 ， 可 以 增加 城市 的 流动 性 。 比 如 ， 在 安娜 堡 市 ， 超 市 与 学 生 公 
寓 的 距离 相当 远 ， 学 生 在 没有 汽车 的 情况 下 ， 坐 公交 车 需要 30~40 分 钟 
才能 到 达 超 市 。 从 超市 回来 ， 不 但 需要 大 量 的 时 间 ， 还 需要 大 量 的 空 
间 才 能 满足 放下 货物 的 需要 。 如 果 需 要 购买 一 些 大 件 商 品 ， 那 么 公共 
汽车 就 没有 办 法 满足 这 样 的 需求 了 。 无 人 区 驶 汽车 可 以 派 专人 在 超市 
提取 货物 ， 然 后 输入 终点 方位 ， 规 划 路 线 ， 那 么 学 生 在 家 门口 就 可 以 
领取 自己 想 要 的 物品 了 。 这 样 的 无 人 区 驶 货运 汽车 ， 可 以 更 加 安全 便 
捷 地 提供 服务 。 


(二 ) 城市 规划 : 从 信息 到 大 数据 再 到 小 数据 


城市 规划 是 对 一 个 城市 殉 经 济 结构 、 空 间 结 构 、 社 会 结构 的 未 来 
发 展 、 合 理 布 局 而 建立 的 工程 部 署 。 在 一 座 城市 中 有 不 同 的 功能 区 
域 ， 在 不 同 的 功能 区 域 中 建立 相应 的 设施 ， 以 完善 城市 的 功能 。 一 座 
城市 的 布局 有 很 多 的 条 件 和 限制 ， 如 地 理 环 境 、 人 文 条 件 、 经 济 发 展 
等 ， 它 能 有 效 地 协调 这 些 客观 的 条 件 ， 优 化 当地 的 城市 空间 布局 ， 提 
供 更 方便 的 生活 。 除 了 具体 的 功能 区 和 合理 布局 ， 还 兼备 忆 术 性 。 如 
今 的 城市 大 都 是 已 经 发 展 起 来 的 。 当 我 们 需要 建立 新 的 功能 区 域 的 时 
候 ， 目 的 是 合理 地 选择 位 置 、 改 善 周围 居民 的 生活 水 平 ， 这 头 需要 我 
们 通过 大量 的 数据 和 分 析 来 得 到 最 优化 的 答案 。 比 如 美国 的 之 加 哥 
市 ， 作 为 全 美 经 济 和 人 口 排名 第 三 的 城市 ， 是 美国 在 1909 年 第 一 个 做 
出 的 整体 城市 规划 的 城市 (如 图 5-3 所 示 ) 。 依 托 东 部 密 软 根 湖 建设 的 
国运 绿地 系统 ， 在 城市 内 部 形成 防护 绿化 圈 ， 对 于 铁路 和 公共 交通 的 
环形 设计 实现 多 方 的 快速 连接 ， 而 城市 主干 道 的 拓宽 以 及 对 城市 放射 
性 道路 、 河 畔 快速 路 的 建设 有 效 地 缓解 了 大 城市 交通 拥堵 的 弊端 ， 中 
心 商 务 区 和 其 他 区 域 规划 让 芝加哥 功能 区 分 散 ， 尽 量 缓解 区 域 发 展 的 
不 平衡 。 


图 5-3 芝加哥 城市 规划 百年 对 比 图 


在 规划 城市 的 时 候 ， 为 了 能 够 更 好 地 确定 城市 的 布局 ， 相 应 数据 
的 可 视 化 效果 可 以 起 到 非常 重要 的 作用 。 通 过 对 相应 数据 的 识别 ， 对 
地 图 、 照 片上 建筑 的 定位 和 识别 来 获得 所 需要 的 信息 ， 转 化 成 为 可 视 
化 效果 ， 通 过 县 加 ， 利 用 计算 机 来 得 到 最 优化 的 布局 。 


(三 ) 医疗 行业 :需要 更 多 的 小 数据 和 逻辑 算法 


医疗 行业 一 直 是 专业 度 极 高 的 领域 。 在 医学 院 中 ， 学 生 要 学 习 的 
专业 术语 、 准 确 操作 技术 非常 多 。 除 了 学 习 理 论 知 识 、 实 际 操 作 以 
外 ， 学 生还 需要 经 过 在 医院 的 实习 ， 了 解 大 量 的 病例 后 才能 最 终 成 为 
一 名 医生 。 而 从 医 多 年 的 医生 拥有 的 丰富 经 验 让 他 们 对 于 患者 疾病 的 
判断 和 治疗 方法 有 极 高 的 准确 性 。 这 些 技能 保证 了 医生 在 行医 的 过 程 
中 能 更 好 地 为 患者 提供 服务 。 但 是 如 采 将 这 些 数据 资料 都 用 人 工 智 能 


来 记忆 存储 ， 然 后 进行 分 析 学 习 ， 最 后 给 出 专业 的 意见 呢 ? 那 是 不 是 
忠 可 以 更 快 地 为 患者 提供 服务 并 且 能 够 提高 诊断 的 准确 率 呢 ? 

随 着 人 工 乔 能 的 发 展 和 整体 水 平 的 提高 ， 人 们 开始 建造 人 工 关 能 
机 器 对 疾病 进行 诊断 。 第 一 部 分 ， 古 对 语言 的 处 理 ， 让 机 器 能 够 听信 
患者 所 描述 的 情形 。 第 二 部 分 ， 是 对 机 融 进 行 长 期 的 训练 ， 让 机 硕 中 
有 大 量 数据 的 存在 和 记忆 ， 从 而 利用 机 器 的 分 析 能 力 ， 对 患者 进行 诊 
晰 。 而 对 于 医 闻 影像， 比如， 心电图、 放射 性 照片 识别 的 效率 和 精准 
度 方面 ， 人 工 智能 确实 超过 了 专业 的 医生 。 利 用 人 工 智能 对 于 图 像 的 


识别 ， 可 以 降低 人 为 操作 的 误 判 率 。 除 了 在 诊断 阶段 可 以 利用 人 工 窜 
能 ， 现 在 还 可 以 用 人 工 智能 去 模拟 和 检测 药物 ， 对 于 药物 进入 人 体 之 


月 
后 的 变化 ， 人 工 智能 也 可 以 给 出 分 析 。 


医疗 健康 中 ， 还 包括 精神 健康 、 健 康 管理 、 营 养 学 、 生 物 技术 
等 ， 这 些 可 以 帮助 我 们 提高 目 身 的 生活 水 平和 健康 水 平 ， 及 时 发 现 号 
体 健 康 方面 的 问题 和 隐患 ， 从 而 进行 预防 。 


2014 年 上 映 的 电影 《 超 能 陆 战 队 》 讲 述 的 惑 是 医疗 机 器 人 的 故 
事 。 天 才 神 童 Hiro ( 阿 宽 ) 的 哥哥 给 弟弟 制造 了 一 亚 能 够 诊断 疾病 的 
机 器 人 “大 白 ”( 如 图 5-4 所 示 ) ， 这 个 机 器 人 可 以 通过 对 人 体 的 扫描 来 
确认 受伤 的 部 位 。 除 了 生理 上 的 健康 问题 ， 还 可 以 通过 观察 和 测试 对 
心理 上 的 疾病 进行 全 面 的 诊断 和 治疗 。 在 哥哥 去 世 之 后 ， 大 日 对 Hiro 
的 心理 疾病 提供 了 多 种 治疗 方法 直到 Hiro 痊 愈 。 在 这 个 过 程 中 ， 大 白 
还 学 习 人 类 的 行为 模式 ， 分 辩 和 处 理 有 用 的 信息 。 

自 2007 年 开始 ，IBM 开 始 研 发 机 器 人 医生 沃 森 (Watson) ， 为 了 
提高 其 对 于 医疗 系统 的 分 析 能 力 ， 还 同时 收购 了 两 家 医疗 分 析 公 司 ， 
这 个 技术 主要 应 用 在 分 析 交 症 病例 方面 。 沃 牺 通过 学 习 海 量 的 数据 和 
病人 的 资料 ， 在 数 分 钟 之 内 诊断 病情 ， 但 是 这 项 技术 并 不 是 那么 容易 
束 能 够 使 用 的 。2015 年 ， 滩 森 与 休斯顿 净 症 治疗 机 构 M.D. 安 德 森 中 心 
停止 了 合作 ， 主 要 是 因为 沃 森 不 能 带 来 更 准确 的 诊断 方案 。 人 工 吞 能 
需要 学 习 大 量 的 样本 和 数据 ， 还 需要 通过 长 时 间 的 训练 ， 但 是 这 些 数 


据 本 里 束 很 难得 到 ， 很 多 疑难 病例 的 数据 很 紧缺 或 者 难以 进行 访问 。 
未 来 对 于 人 工 知 能 的 医疗 应 用 还 需要 更 多 的 数据 和 逻辑 算法 进行 文 


持 。 


(四 ) 智 营 政 府 和 智 营 金融 : 聚焦 大 数据 和 人 小数 


随 着 互联 网 的 发 展 ， 人 们 的 “ 脑 洞 ?也 越 来 越 大 。 在 各 行 各 业 ， 人 
们 都 希望 能 有 更 便捷 的 工作 方式 。 利 用 现 有 的 信息 技术 ， 在 监管 、 服 
务 、 决 策 和 办 公 方 面 将 传统 办 公 室 依靠 人 工 记 隶 的 手段 变 成 电子 信息 
的 储存 ， 更 快 更 好 地 评价 和 监管 业务 人 员 的 行为 ， 可 以 由 系统 目 主 地 
解决 一 些 问题 ， 提 高 办 事 效率 。 对 于 公安 系统 、 道 路 交通 系统 ， 可 以 
通过 联网 更 快 地 抓 捕 逃犯 、 预测 和 预防 灾害 发 生 ， 整 体 的 区 域 规划 和 
政府 工作 进展 也 可 以 通过 人 工 智能 的 手段 来 实施 。 


除了 政府 ， 学 校 也 在 逐渐 地 使 用 人 工 智能 。 北 系 市 的 体育 考试 
中 ， 学 生 的 测试 成 绩 不 再 由 人 工 进行 记录 (如 图 5-5 所 示 ) 。 每 一 位 考 
生 的 个 人 信息 、 报 名 信息 都 储存 在 系统 中 ; 每 一 个 项 目录 入 的 时 候 ， 
都 使 用 人 脸 识别 系统 ， 摄 像 机 捕捉 到 画面 之 后 ， 考 务 员 即 可 看 到 相应 


的 信息 ; 缺 考 或 者 补考 信息 也 会 在 系统 中 目 动 生成 。 在 每 一 项 测试 
中 ， 使 用 不 同 的 传 感 硕 记 录 考 生 的 速度 、 时 间 、 位移 和 整体 的 行为 ， 
之 后 目 动 生成 成 绩 并 上 传 到 网 络 上 ， 保 证 了 信息 的 准确 性 ， 也 减少 了 
考 务 员 的 工作 量 。 


图 5-5 体育 考试 仪器 敏感 测试 


智 营 金融 ， 依 靠 互联 网 技术 ， 使 用 人 工 知 能、 大 数据 、 区 块 链 等 
科技 手段 开展 金融 业务 。 智 营 金 融 的 产生 ， 让 人 金融 行业 在 风险 控制 、 
灵活 高 效 、 便 捷 安 全 等 方面 有 了 显著 提高 。 对 于 客户 来 襄 ， 吞 芒 金 融 
可 以 更 好 地 为 客户 提供 即时 的 服务 ， 不 用 受 限 于 时 间 ;， 在 投资 方面 可 
以 更 准确 更 直观 地 进行 对 比 ， 让 客户 有 更 好 的 体验 和 更 小 的 风险 。 


在 证 券 交 易 当 中 ， 量 化 交易 已 经 被 广泛 地 应 用 在 交易 系统 当中 。 
证 券 分 析 师 通过 观察 数据 分 布 ， 束 能 编写 函数 设计 模型 。 这 些 数据 通 
过 分 析 、 拟 合 ， 可 以 用 来 预测 证 券 价格 未 来 的 走势 。2007 年 ， 逆 势 研 
究 (Rebellion Research) 资产 管理 公司 推出 了 第 一 个 基于 贝 叶 斯 模型 
的 机 器 学 习 系 统 ， 结 合 预测 方法 来 进行 交易 ， 这 个 系统 对 于 历史 信息 
和 新 信息 进行 处 理 、 预 测 ， 从 而 构造 投资 组 合 。 这 套 系统 可 以 对 全 球 
44 个 国家 的 股票 、 债 券 、 大 宗 商 品 等 进行 诡 易 。 香 港 的 Aidyia 公 司 也 
使 用 了 多 种 人 工 智能 的 算法 ， 结 合 宏观 经 济 数 据 ， 对 美股 进行 走势 分 
析 。 

投资 顾问 对 于 投资 者 的 评估 一 般 是 比较 复杂 的 ， 要 结合 其 自身 的 
风险 承受 能 力 、 投 资 偏好 以 及 个 人 的 资产 状况 等 多 种 信息 进行 分 析 ， 
从 而 帮助 投资 者 决定 投资 方向 ， 在 服务 上 也 需要 耗费 大 量 的 时 间 和 精 
力 。 物 能 投资 顾问 可 以 借助 机 器 的 量化 分 析 ， 为 投资 者 量 号 定做 投资 
配置 ， 并 且 和 能够 定期 地 监控 这 些 投 资 组 合 的 走势 ， 为 投资 者 提供 实时 
的 服务 。 个 性 化 的 资产 配置 可 以 为 双方 带 来 利益 ， 比 如 ， 嘉 信和 理财 

(Charles Schwab) 推出 的 智能 投 顾 产品 ， 束 是 利用 蒙特 卡 洛 模拟 对 市 
场 的 投资 组 合 进行 动态 跟踪 来 确定 和 调 广 资产 配置 的 平衡 。 

日 本 福冈 保险 公司 (Fukoku Mutual Life) 使 用 了 IBM 的 沃 森 系 统 
来 同 投 保 推 荐 产品 。 人 工 智 能 系统 不 仅 可 以 根据 个 人 条 件 和 特定 算法 
计算 设计 产品 ， 还 可 以 帮助 保险 公司 检测 欺诈 和 案件。 在 瑞 国 ， 每 天 都 
有 约 300 起 的 保险 诈骗 案件 ， 这 个 数字 是 巨大 的 ， 人 工 智 能 系统 可 以 通 
过 学 习 已 经 认定 的 保险 欺诈 和 案件， 对 事实 和 政策 进行 对 比 ， 几 分 钟 内 


束 可 以 完成 检测 。 此 外 ， 人 工 智能 还 可 以 通过 物 联 网 和 可 罕 戴 设备 等 
办 法 ， 为 投保 人 设计 个 性 化 的 产品 。 


三 、 用 小 数据 也 能 机 器 学 习 


(一 ) 学 习 与 机 器 学 习 


学 习 ， 这 个 词语 涵盖 了 广泛 的 定义 。 字 典 定义 包括 诸如 “通过 学 
习 、 指 导 或 经 验 获 得 知识 、 理 解 或 技能 "。 人 类 通过 学 习 或 者 经 验 来 获 
得 知识 、 理 解 、 技 能 甚至 是 情感 。 我 们 在 学 习 中 了 解 事物 发 展 的 规 
律 ， 获 得 专业 的 技能 ， 为 生活 和 社会 提供 不 同 的 价值 。 机 器 学 习 是 类 
似 仿生 学 一 样 的 学 科 。 人 类 希望 机 器 拥有 学 习 能 力 ， 像 人 类 一 样 在 获 
取 大 量 知 识 、 大 量 数 据 之 后 ， 可 以 对 这 些 数 据 进 行 提取 、 整 理 和 分 
析 。 通 过 不 断 的 训练 、 不 断 素 积 样本 ， 让 机 郝 对 未 知 的 结 采 进行 判 
断 。 这 些 经 验 和 数据 输入 机 器 当中 让 机 器 凭借 其 运算 速度 快 、 存 储量 
大 的 特点 ， 得 到 更 加 准确 的 结 

我 们 谈论 人 工 智 能 的 时 候 ， 不 可 忽略 实现 人 工 智能 的 方法 。 弱 人 
工 智 能 要 求 的 不 是 目 主 学 习 而 是 对 输入 信息 的 一 种 反 锯 。 专 家 设 定 一 
定 的 程序 ， 安 装 在 系统 中 ， 然 后 在 使 用 系统 的 时 候 ， 我 们 给 予 指令 ， 
后 者 进行 反馈 。 但 是 强人 工 智能 要 求 的 是 ， 让 机 需 在 学 习 之 后 能 够 目 
主 地 思考 ， 从 而 能 够 帮助 人 类 完成 甚至 能 够 超越 人 类 的 思维 去 完成 项 
目 。 从 最 早 的 符号 学 ， 到 现在 的 量子 计算 ， 都 是 在 实现 人 工 智 能 的 过 
程 中 不 断 探 索 。 目 前 ， 用 得 最 多 的 束 是 机 融 学 习 方 法 。 我 们 依赖 于 机 
絮 学 习 是 因为 有 些 任务 无 法 被 定义 ， 我 们 要 的 不 是 简单 的 输入 和 输出 
的 对 等 关系 ， 我 们 布 望 机 右 能 够 通过 大 量 的 样本 输入 ， 能 够 在 其 中 找 
到 隐 舍 的 关系， 从 而 得 到 更 加 准确 的 输出 。 像 我 们 说 到 的 数据 控 气 ， 
束 古 从 大 量 的 数据 中 找到 可 能 隐藏 的 重要 的 相关 性 信息 ， 从 大 量 的 信 
居中 提取 出 这 些 有 用 信息 ， 过 滤 挥 干扰 项 。 


总 体 来 说， 机 器 学 习 是 一 门 涵盖 了 多 领域 的 学 科 ， 其 中 使 用 的 方 
法 包括 统计 学 、 概 率 论 、 吕 分析、 算法 复杂 度 等 。 这 些 算 法 应 用 在 人 
工 智能 的 各 个 领域 ， 为 其 提供 归纳 和 总 结 。 机 嘎 学 习 如 今 大 量 应 用 在 
心理 学 、 生 物 学 、 数 学 、 统 计 学 、 遗 传 算法 等 学 科 中 。 对 于 机 需 学 习 
的 定义 ， 学 界 有 很 多 不 同 的 说 法 ，Tom Mitchell (汤姆 : 米 切 尔 ) 的 
4 机 器 学 习 》 一 书 对 信息 论 中 的 一 些 概念 有 详细 的 解释 ， 其 中 定义 机 
妖 学 习 时 提 到 ,，“ 机 器 学 习 古 对 能 通过 经 验 目 动 改 进 的 计算 机 算法 的 研 
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(二 ) 机 器 学 习 : 从 样本 中 学 习 的 智能 程序 


机 器 学 习 (Machine Leaming) 的 方法 分 为 有 监督 学 习 、 无 监督 
学 习 和 表征 学 习 。 

(1) 有 监督 学 习 是 指 ， 在 给 出 的 样本 中 ， 需 要 给 出 标准 答案 。 在 
以 后 的 学 习 过 程 中 ， 机 器 根据 给 定 的 标准 答案 去 寻找 新 数据 与 标准 答 
案 的 相似 性 。 这 种 相似 性 越 强 ， 样 本 就 越 接 近 标 准 答案 ， 效 果 越 好 。 
这 样 的 学 习 给 出 的 答案 一 般 不 会 太 复 杂 ， 比 如 ， 对 或 者 错 ， 然 后 一 点 
一 点 琶 加 样本 的 数量 ， 通 过 大 量 的 训练 提高 机 器 的 学 习 能 力 和 正确 率 

(如 图 5-6 所 示 ) 。 

(2) 无 监督 学 习 是 指 不 去 人 为 地 给 出 一 个 标准 答案 。 在 数据 样本 
输入 机 器 中 的 时 候 ， 只 按照 某 些 特征 去 分 离 ， 然 后 让 机 器 自己 去 寻找 
特殊 的 特征 。 这 样 学 习 的 特点 是 需要 降 维 ， 数 据 一 般 是 多 维度 的 。 当 
这 些 数据 输入 的 时 候 ， 其 中 可 能 有 很 多 是 不 需要 的 ， 这 些 干 扰 选项 需 
要 通过 降 维 将 其 去 除 ， 从 而 得 到 一 些 高 质量 的 数据 ， 并 进行 处 理 。 

(3) 表征 学 习 是 指 通 过 不 同 的 形式 来 表达 数据 和 解释 问题 。 


训练 数据 
i 模型 训练 
PE Re 
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测试 数据 
( 需 标记 的 文本 语料库 ) 


图 5-6 机 器 学 习 的 过 程 


(三 ) 深度 学 习 : 从 大 数据 中 学 习 


深度 学 习 (Deep Learning) 是 机 器 学 习 中 的 一 种 ， 这 个 概念 来 目 
对 人 类 神经 网 络 的 研究 ， 用 以 表达 和 发 现 更 深层 次 的 特征 和 树 形 。 深 
度 学 习 主 要 钙 对 事物 的 表征 进行 学 习 。 深 度 学 习 硕 望 能够 模拟 人 脑 ， 
多 层次 地 去 理解 文字 、 图 像 、 声 首 的 信息 ， 从 而 提取 不 同 层次 的 信 
思 。 通 过 模拟 人 脑 对 于 信息 在 神经 元 之 间 的 传递 ， 看 穿 深 度 的 信息 。 
比如 ， 手 机 中 的 语音 识别 功能 、 图 像 识别 功能 ， 痢 是 深度 学 习 的 结 
果 。 深 度 学 习 有 的 时 候 会 加 入 过 多 的 参数 ， 因 为 其 结构 复 洒 ， 考 虑 的 
事项 很 多 ， 所 以 需要 对 数据 进行 入 选 ， 留 下 有 用 的 数据 ， 否 则 束 变 成 
了 过 度 拟 合 的 结 有 末 ， 反 而 不 利于 应 用 。 


(四 ) 强化 学 习 : 从 经 验 中 增强 


强化 学 习 (Reinforcement Learning) ， 又 称 增 强 学 习 、 再 励 学 
习 、 评 价 学 习 ， 是 一 种 重要 的 机 器 学 习 方 法 ， 在 智能 控制 机 器 人 及 分 
析 预 测 等 领域 有 许多 应 用 。 所 谓 强化 学 习 就 是 智能 系统 从 环境 到 行为 


映射 的 学 习 ， 以 使 奖励 信号 (强化 信号 ) 函数 值 最 大 。 强 化 学 习 不 同 
于 连接 主义 学 习 中 的 监督 学 习 ， 主 要 表现 在 强化 信和 号 上 ， 强 化 学 习 中 
由 环境 提供 的 强化 信号 是 对 产生 动作 的 好 坏 做 一 种 评价 (通常 为 标量 
信号 ) ， 而 不 是 告诉 强化 学 习 系统 (Reinforcement Learning System ， 
RLS) 如 何 去 产 生 正 确 的 动作 。 由 于 外 部 环境 提供 的 信息 很 少 ，RLS 
必须 靠 目 身 的 经 历 进行 学 习 。 通 过 这 种 方式 ，RLS 在 行动 评价 的 环境 
中 获得 知识 ， 改 进行 动 方案 以 适应 环境 。 

学 习 从 环境 状态 到 行为 的 映射 ， 使 智能 体 选 择 的 行为 能 够 获得 环 
境 最 大 的 奖赏 ， 外 部 环境 对 学 习 系统 在 某 种 意义 下 的 评价 (或 整个 系 
统 的 运行 性 能 ) 为 最 佳 。 


(五 ) 迁移 学 习 : 用 小 数据 也 能 学 习 


迁移 学 习 (Transfer Learning) 是 指 在 机 器 训练 中 产生 的 数据 标定 
会 发 生 无 法 使 用 的 情况 。 在 此 情况 下 ， 重 新 标定 训练 数据 可 能 会 使 这 
些 数据 失去 意义 和 时 效 性 ， 迁 移 学 习 可 以 挑选 旧 数 据 中 有 用 的 加 入 新 
的 数据 中 成 为 新 的 训练 模型 。 

迁移 学 习 ， 可 以 算 成 半 监 督学 习 ， 给 定 一 些 特 征 和 少量 样本 ， 这 
些 标定 的 样本 数量 较 小 ， 但 是 有 大 量 的 不 确定 样本 ， 可 以 利用 已 有 的 
样本 对 这 些 不 确定 的 样本 进行 学 习 分 类 。 


四 、 会 学 习 的 小 数据 更 强大 


(一 ) 翻译 软件 : 一 点 红 解 无 边 春 


2016 年 ， 震 动 全 球 的 AlphaGo 软 件 ， 它 在 围棋 领域 打败 了 世界 排 
名 第 一 的 人 类 围棋 选手 ， 成 为 首 个 击败 人 类 大 师 的 人 工 智 能 产品 。 
AlphaGo 结 合 了 三 大 技术 : 先进 的 搜索 算法 、 机 器 学 习 算 法 (强化 学 
习 ) 以 及 深度 神经 网 络 。 此 三 大 技术 的 关系 为 : 蒙特 卡 洛 树 搜索 
(MCTS) 是 大 框架 ， 是 许多 博弈 AI 都 会 采用 的 算法 ; 强化 学 习 
(RL) 是 学 习 方 法 ， 用 来 提升 AI 的 实力 ; 深度 神经 网 络 (DNN) 是 工 
具 ， 用 来 拟 合 局 面 评估 函数 和 策略 函数 ， 这 种 神经 系统 网 络 目 前 在 翻 
译 器 中 得 到 了 很 好 的 使 用 。 


合 歌 翻译 作为 谷歌 公司 的 一 款 在 线 翻 译 工 具 (如 图 5-7 所 示 ) ， 已 
经 推出 十 年 之 久 ， 能 够 翻译 100 多 种 语言 ， 甚 至 可 以 识别 餐 单 和 方言 ， 
成 为 最 受 全 球 人 民 喜 爱 的 翻译 工具 之 一 。 几 年 以 前 ， 我 们 在 使 用 翻译 
名 翻译 内 容 时 ， 经 常 发 现 完全 看 不 懂 翻 译 出 来 的 是 什么 ， 可 以 说 翻译 
独 基 本 上 就 是 把 每 一 个 词 在 对 应 的 位 置 上 摊 出 来 ， 再 加 上 一 点 简单 的 
逻辑 ， 比 如 ， 主 语 、 谓 语 、 宾 语 的 位 置 不 会 出 钳 。 了 网 上 盛传 着 一 个 笑 
话 , “How old are you”? 翻译 为 “怎么 老 是 你 ”? 这 是 个 笑话 ， 但 是 也 多 
少 说 明了 这 个 问题 。 那 个 时 候 的 翻译 系统 并 没有 按照 人 类 的 思维 逻辑 
去 进行 。 今 天 ， 再 次 用 这 鞭 软 件 翻译 一 大 段 话 的 时 候 ， 我 们 能 发 现 ， 
一 段 话 基 本 的 逻辑 没有 错 ， 只 是 有 个 别 的 专业 术语 和 长 句子 有 轻微 的 
逻辑 问题 。 合 歌 翻译 的 准确 率 较 以 往 的 结果 提高 了 不 少 ， 甚 至 已 经 能 
够 注意 到 语序 、 语 意 甚 至 语气 。 
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图 5-7 谷歌 翻译 软件 的 翻译 示范 


谷歌 的 翻译 系统 对 翻译 进行 了 神经 网 络 的 机 器 学 习 ， 谷 歌 神经 网 
络 翻译 (Google Neural Machine Translation，GNMT) 系统 可 以 有 效 提 
升 单 句 翻译 效率 。 谷 歌 工程 师 研 究 团 队 发 现 ， 这 种 算法 在 处 理 整个 句 
子 时 非常 有 效 ， 可 以 将 错误 率 减 少 60% 左 右 ; 而 且 ， 该 系统 还 能 够 及 
时 地 调整 翻译 的 准确 度 。 


根据 谷歌 的 说 法 ， 痢 型 翻译 模式 的 翻译 错误 率 可 降低 559%6~859%。 
而 此 前 的 系统 是 逐 字 逐 词 地 翻译 ， 准 确 性 较 差 。 在 一 次 语言 精确 度 测 
试 中 ， 合 歌 翻 译 的 旧 模 式 得 到 了 3.6 分 (满分 是 6 分 ) ， 而 GNMT 翻 译 
结果 则 得 了 5 分 ， 略 低 于 人 力 翻 译 的 平均 得 分 5.1 分 。GNMT 的 底层 结 
构 为 一 个 长 短期 记忆 网 络 ， 工 作 模 式 与 人 类 的 记忆 模式 类 似 ， 第 规 的 
翻译 算法 是 将 一 个 句子 分 成 各 个 单词 ， 这 些 单 词 再 与 字典 配对 ， 
GNMT 则 与 常规 使 用 的 基于 单词 的 翻译 系统 (PMBT) 不 同 ， 它 能 够 


有 效 地 进行 “记忆 ?一 个 句子 的 始终 并 分 析 整 句 话 或 者 整 段 话 ， 再 通过 
机 俩 学 习 进 行 翻译 。 因 此 谷歌 翻译 天 能 够 进行 双 回 处 理 : GNMT 分 解 
单词 的 意思 ， 进 而 再 整合 到 句法 成 分 之 中 ， 最 后 再 将 此 结 末 翻译 成 兄 
外 一 种 语言 。 

根据 我 们 使 用 数字 化 产品 的 经 验 ， 新 一 代 产 品 的 升级 必定 会 市 来 
其 他 方面 的 问题 ， 如 运行 速度 、 占 用 运行 内 存 等 。 谷 歌 新 型 翻译 模式 
的 翻译 速度 从 历史 的 角度 来 看 并 不 是 很 快 ， 但 是 谷歌 利用 了 一 些 技术 
极 大 地 提升 了 翻译 速度 ， 神 经 网 络 采 用 分 层 计 算 方式 ， 利 用 谷歌 专业 
化 人 工 知 能 优化 计算 机 芯片 所 提供 的 处 理 能 力 来 强化 目 己 的 翻译 效 
率 。 这 样 ， 此 前 需要 10 秒 钟 翻译 完 的 句子 ， 如 今 只 需要 300 唉 秒 束 够 
了 。 

当然 ， 谷 歌 的 翻译 系统 还 没有 达到 十 全 十 美的 程度 ， 甚 至 会 犯 下 
许多 人 力 永远 不 可 能 犯 的 错误 ， 如 遗漏 单词 、 错 译 人 名 或 罕见 的 术语 
等 ， 甚 至 偏离 了 整个 句 意 而 没有 根据 上 下 文 翻译 句子 的 真实 意思 。 不 
过 ， 对 于 GNMT 翻 译 系 统 的 培训 将 会 不 断 改进 谷歌 翻译 产品 的 准确 率 
与 速率 。 


(二 ) 关联 推荐 : 以 数 言 而 统 万 象 


网 购 和 是 目 前 青年 人 必 不 可 少 的 活动 之 一 。 当 你 在 网 购 心 仪 的 商品 
时 ， 有 没有 注意 过 在 网 页 的 某 处 会 出 现 类 似 商 品 的 推荐 ? 或 者 在 你 浏 
览 网 页 的 时 候 ， 一 些 网 页 的 广告 竟然 在 推荐 你 前 天 运用 搜索 引擎 搜索 
过 的 商品 ? 或 许 你 会 览 得 这 样 的 推荐 很 人 性 化 ， 但 是 并 没有 深思 过 这 
样 的 现象 是 如 何 出 现 的， 这 与 我 们 的 人 工 智能 与 机 需 学 习 也 是 密 不 可 
分 的 。 

比如 ， 要 在 亚 马 进 上 给 仓鼠 天 党 子 ， 输 入 的 关键 词 挟 : 两 层 、 透 
明 、 人 全套。 搜索 出 来 各 式 各 样 的 基本 符合 要 求 的 落 子 ， 然 后 ， 打 开 几 


个 我 认为 比较 合适 的 党 和 于， 对 比 之 后 最 终 选 择 了 一 款 天 了 下 来 。 接 下 
来 儿 天 ， 当 我 再 次 打开 亚马逊 的 时 候 ， 发 现下 面 窗 口中 弹出 了 一 些 仓 
鼠 床 铺 、 食 物 、 玩 具 ， 尤 其 是 可 以 安 狠 在 购买 的 党 子 上 的 一 些 币 床 
等 。 过 了 一 段 时 间 ， 我 发 现 亚 马 进 又 推荐 了 一 些 跟 我 天 的 党 子 很 像 的 
新 款 ， 它 们 包含 更 多 的 功能 ， 而 且 有 一 些 质量 和 评价 都 很 好 。 

好 的 推荐 应 该 是 个 性 化 的 ， 作 为 消费 着 在 购物 的 时 候 被 收集 的 信 
居多 得 令 人 难以 置信 。 软 件 或 者 厂商 可 以 获取 我 们 的 性 别 、 位 置 、 社 
交 媒 体 点 人 赞 和 分 平 内容、 购买 历史 、 产 品 碍 看 操作 、 购 物 车 丢弃 行 
为 ， 有 时 甚至 知道 我 们 的 大 学 位 置 和 家 庭 收入 ， 这 仅 是 部 分 个 人 信 
思 。 有 足够 的 数学 证 据 表 明 ， 如 此 多 的 不 同 因素 之 间 存 在 的 模式 和 关 
联 不 仅仅 古 巧 合 ， 要 在 电子 商务 网 站 上 提供 民 好 的 、 个 性 化 的 推荐 ， 
零售 商 需 要 一 个 能 大 规模 地 识别 这 些 模 式 的 引擎 ， 关 联 规则 便 是 这 种 
引擎 的 核心 所 在 。 


关联 规则 是 最 先 被 想到 的 推荐 方法 ， 但 也 曾经 出 现 过 极其 殴 雇 的 
事情 。 当 时 IBM 的 工程 师 否 于 没有 数据 集 ， 于 是 杜撰 了 一 个 数据 集 作 
为 关联 规则 的 核心 ， 结 有 果 跑 出 了 喀 酒 和 尿布 这 一 奇 琵 关联 ， 最 后 竟然 
大 家 都 相信 了 “。 这 虽然 是 一 则 笑话 ， 但 由 此 引发 出 的 关联 规则 和 数据 
库 的 关系 成 了 关键 所 在 。 关 联 规则 最 重要 的 就 是 发 现 共 现 关系 (挖掘 
频繁 项 目 集 ) ， 经 典 算法 有 Apriori 算 法 、FP-Growth 算 法 。 关 联 规则 的 
应 用 场景 是 大 量 的 用 户 购买 了 A 之 后 还 会 授 着 购买 B 和 C， 于 是 一 旦 发 
现 用 户 购买 了 A， 系 统 就 会 给 用 户 推荐 B 和 C。 这 个 应 用 场景 放 在 购物 
上 是 非常 合适 的 ， 因 为 我 们 购物 往往 是 根据 当前 的 需求 ， 也 束 是 说 用 
户 购物 的 兴趣 点 是 随 着 时 间 变 化 的 。 关 联 规 则 也 可 以 给 用 户 推荐 完全 
不 相似 的 物品 ， 比 如 ， 购 买 了 数码 相机 ， 系 统 会 推荐 SD 卡 (安全 数码 
卡 ) 、 数 码 相 机 电池 等 。 

亚马逊 最 先 提 出 运用 此 方法 进行 基于 物品 的 相同 过 滤 ， 基 本 思想 
是 预先 根据 所 有 用 户 的 历史 偏好 数据 计算 物品 之 间 的 相似 性 ， 然 后 把 
与 用 户 喜 欢 的 物品 相 类 似 的 物品 推荐 给 用 户 。 举 个 例子 ， 物 品 a 和 <c 非 


钊 相似 ， 因 为 喜欢 a 的 用 户 同时 也 喜欢 c， 而 用 户 A 喜 欢 a， 所 以 系统 把 c 
推荐 给 用 尸 A。 这 也 就 解 释 了 为 何 厂家 或 者 互联 网 能 够 基本 准确 地 预 
知 我 们 想 要 购买 的 商品 。 

天 联 推荐 对 于 改变 我 们 的 生活 产生 了 重大 影响 ， 示 来 的 购物 或 许 
会 古 ， 想 象 我 们 进入 一 家 商店 ， 将 一 些 服 狠 市 入 试 衣 间 ， 当 进入 试 衣 
间 时 ， 智 功 罕 衣 镜 目 动 识别 这 些 商品 。 斌 穿行 为 可 能 被 视 为 类 似 于 在 
线 “ 查 看 产品 ”的 行为 ， 您 将 商品 放 入 “不 喜欢 ” 堆 中 ， 相 当 于 “从 购物 车 
中 删除 * 的 行为 。 商 品 之 间 的 共同 特征 会 被 监视 ， 比 如 ， 试 罕 短 链 的 倾 
癌 。 与 此 同时 ， 一 个 平板 电脑 或 关 慧 罕 衣 镜 正 在 跟踪 这 些 实时 行为 ， 
并 根据 每 种 操作 来 调整 推荐 。 您 可 能 看 到 根据 您 试 穿 的 一 件 连衣裙 而 
产生 的 另 一 件 连衣裙 的 推荐 ， 通 过 单 击 平板 电脑 上 的 “ 试 穿 ”按钮 ， 商 
店 服务 员 就 会 送 来 符合 您 的 尺码 的 连 衣 究 。 当 然 ， 我们 的 购物 清单 或 
许 也 会 根据 算法 在 购物 前 被 预测 或 推荐 。 


(三 ) 生物 识别 系统 ， 半 瓣 花 上 说 人 情 


科幻 电 影 当 中 经 营 出 现 这 样 的 情景 ,假设 你 是 詹姆斯 -邦人 德 ， 现 在 
必须 进入 一 间 秘 密实 验 宝 ， 解 除 一 件 致命 的 生物 武器 ， 拯 救 整 个 世 
界 。 但 是 ， 在 此 之 前 ， 你 必须 破解 罪犯 的 安全 系统 。 要 进行 破解 ， 光 
有 钥匙 和 密码 古 不 够 的 ， 你 或 许 还 需要 使 用 罪犯 的 虹膜 、 语 音 和 手 形 
数据 ， 只 有 这 样 才 能 进入 系统 。 生 物 识别 系统 是 近年 来 兴起 的 男 外 一 
个 人 工 智能 与 机 占 学 习 的 成 果 。 不 管 是 我 们 使 用 的 iPhone 指 纹 识别 、 
Siri 的 语音 识别 ， 还 是 计算 机 登录 的 面部 识别 甚至 是 电影 中 的 视网膜 识 
别 ， 生 物 识 别 技术 已 经 慢 慢 成 了 我 们 生活 中 取代 传统 人 工 识别 与 安全 
防范 措施 的 重要 工具 之 一 。 生 物 识 别 扩 术 能 够 通过 计算 机 与 光学 、 声 
学 、 生 物 传 感 右 和 生物 统计 学 原理 等 高 科技 手段 密切 结合 ， 利 用 人 体 
国有 的 生理 特性 ， 来 进行 个 人 身份 的 鉴定 。 生 物 识别 技术 大 致 分 为 六 


种 : 指纹 识别 、 声 音 识 别 、 视 网 膜 识 别 、 虹 膜 识 别 、 面 部 识别 、 静 脉 
识别 。 


生物 识别 系统 看 起 来 非常 复杂 ， 但 一 般 会 涉及 以 下 三 个 步骤 。 

(1) 登记 ， 当 首次 使 用 生物 识别 系统 时 ， 系 统 将 会 记录 输入 的 信 
轧 ， 如 姓名 或 吴 份 证 号 码 。 捕 获 影像 ， 或 者 记录 具体 符 征 。 

(2) 存储 : 与 电影 中 看 到 的 相反 ， 大 多 数 系统 并 不 存储 完整 的 影 
像 或 记录 ， 而 古 分 析 输 入 数据 的 特征 ， 然 后 将 其 转换 成 代码 或 图 形 。 
某 些 系统 还 能 将 这 些 数据 记录 在 可 随身 携 市 的 智能 卡 上 。 

(3) 比较 : 当下 一 次 使 用 该 系统 时 ， 它 会 将 现 有 输入 特征 与 文件 
中 的 信息 进行 比较 ， 根 据 比 较 结 采 接受 或 拒绝 身份 申明 。 


生物 识别 技术 也 渐渐 应 用 到 其 他 非 生物 方面 ， 如 车 牌 识别 、 数 字 
识别 等 。 以 图 像 识别 为 例 ， 机 器 学 习 在 其 中 扮演 了 很 重要 的 角色 。 我 
们 人 类 的 视觉 是 与 生 俱 来 的 ， 但 是 完 竟 镜像 是 如 何 通过 视网膜 进入 大 
脑 从 而 翻译 成 我 们 大 脑 可 识别 的 信息 ， 我 们 依然 不 清楚 。 事 实 上 ， 对 
我 们 来 说 不 需要 有 意识 去 做 的 事情 对 于 机 器 来 说 却 是 困难 重重 。 机 响 
学 习 可 以 最 大 限度 地 代 欧 人 眼 来 进行 图 像 内 容 的 识别 与 角 选 。 要 想 完 
成 机 融 图 像 识 别 ， 第 一 步 便 是 图 像 的 分 类 ， 当 我 们 回 计 算 机 展示 一 幅 
图 片 时 ， 它 能 够 对 图 片 进行 分 析 并 打上 标签 ;， 它 可 以 从 固定 数量 的 标 
答 中 进行 选择 ， 每 一 类 的 标签 搬 述 了 一 种 图 像 的 内 容 ， 我 们 的 目标 整 
古 让 这 个 模型 能 够 尽 可 能 地 挑 移出 正确 的 标签 。 第 二 步 为 监督 学 习 ， 
就 是 让 机 器 上 自己 能 够 学 习 图 像 的 评估 。 我 们 定义 一 个 通用 的 数学 模 
型 ， 将 输入 图 像 转 换 为 输出 标签 ， 提 供 初 始 的 参数 值 ， 然 后 再 向 模型 
输入 图 像 数据 集 和 已 知 的 正确 标签 ， 这 吏 是 训练 的 过 程 。 在 这 个 阶段 
模型 重复 校 答 ， 训 练 数据 ， 持 续 调 整 参 数值 ， 目 标 是 找到 合适 的 参数 
使 模型 输出 尽 可 能 多 的 正确 结 采 ， 这 种 同时 使 用 输入 数据 和 正确 结 采 
的 训练 方法 叫 监 督学 习 。 在 经 过 了 以 上 两 个 步骤 后 ， 我 们 便 能 得 到 所 
需 的 识别 模型 参数 ， 也 整 完成 了 机 器 学 习 的 过 程 。 


(四 ) 垃圾 邮件 检测 : 一 粒 沙 里 见 世界 


电子 邮箱 是 科技 发 展 的 产物 ， 也 是 现代 社会 必 不 可 少 的 工具 ， 但 
征 垃 圾 邮件 和 垃圾 短信 一 样 ， 征 我 们 生活 工作 时 无 法 避免 的 烦恼 。 电 
子 邮 件 检 测 与 防 网 络 钓鱼 系统 能 够 有 效 地 阻止 垃圾 邮件 并 且 保 护 我 们 
的 计算 机 与 信息 安全 。 合 歌 在 2016 年 底 刚 刚 宣布 会 在 谷歌 邮件 

(Gmail) 中 增加 一 些 新 的 安全 功能 ， 包 括 基于 机 器 学 习 技术 改进 后 的 
网 络 钓 鱼 检 测 功能 。 调 查 显示 ， 在 Gmail 中 收 到 的 邮件 中 有 50%~70% 
都 是 垃圾 邮件 ， 机 需 学 习 技 术 可 帮助 谷歌 以 超过 99.9% 的 准确 性 来 阻 
止 垃圾 信息 和 网 络 钓 鱼 信 息 。 合 歌 最 新 的 机 絮 学 习 模 块 ， 通 过 拖延 选 
择 性 信息 (平均 少 于 0.05%) ， 以 顾 得 时 间 进 行 网 络 钓鱼 分 析 ， 来 改 
进 处 理 过 程 。 当 用 户 点 击 了 一 个 可 疑 链接 时 ， 新 的 检测 模块 通过 统一 
资源 定位 符 (URL) 信誉 和 相似 性 分 析 ， 生 成 新 的 URL 点击 时 间 警 
告 ， 这 一 安全 功能 会 癌 用 户 提供 警告 提示 。 随 着 狐 模 式 的 发 现 ， 新 型 
模型 比 人 工 系统 适应 得 更 快 ， 用 得 越久 越 有 效 。 

机 器 学 习 帮 助 Gmail 实 现 了 垃圾 邮件 检测 的 99% 以 上 的 准确 性 ， 通 
过 这 些 新 的 人 护 措施 ， 机 器 已 经 能 够 目 信 地 每 天 拒绝 数 以 亿 计 的 其 他 
信息 ， 减 少 我 们 所 面临 的 威胁 。 


一 、 人 小 数据 驱动 复杂 系统 的 优化 


(一 ) 复杂 系统 与 小 数据 
(1) 复杂 系统 简介 


复杂 系统 理论 (System Complexity) 是 系统 科学 中 的 一 个 前 沿 方 
回 ， 它 是 复杂 性 科学 的 主要 研究 任务 。 复 杂 性 科学 被 称 为 21 世 纪 的 科 
学 ， 它 的 主要 目的 束 是 揭示 复杂 系统 的 一 些 难以 用 现 有 科学 方法 解释 
的 动力 学 行为 。 与 传统 的 还 原 论 方法 不 同 ， 复 杂 系 统 理论 强调 用 整体 
论 和 还 原 论 相 结合 的 方法 去 分 析 系 统 。 目 前 ， 复 杂 系 统 理论 还 处 于 萌 
芽 阶 段 ， 它 可 能 正在 孕育 一 场 新 的 系统 学 乃至 整个 传统 科学 方法 的 革 
命 。 生 命 系统 、 社 会 系统 都 是 复杂 系统 ， 复 杂 系 统 理论 的 应 用 在 系统 
生物 学 的 研究 与 生物 系统 计算 机 数学 建 模 中 具有 重要 的 意义 。 


复杂 系统 (Complex System) 是 具有 中 等 数目 基于 局 部 信息 做 出 
行动 的 智能 性 、 目 适应 性 主体 的 系统 。 复 杂 系 统 是 一 个 很 难 定 义 的 系 
统 ， 它 存在 于 世界 的 各 个 角落 。 因 此 ， 我 们 也 可 以 这 样 定义 它 : 也 不 
是 简单 系统 ， 也 不 是 随机 系统 ，@ 是 一 个 复合 的 系统 ， 而 不 是 纷繁 的 
系统 ;G3 是 一 个 非 线 性 系统 ，(4) 内 部 有 很 多 子 系统 (Subsystem) ， 这 
些 子 系统 之 间 叉 是 相互 依赖 的 (Interdependence) ， 子 系统 之 间 相 互 
起 到 协同 作用 ， 可 以 共同 进化 (Coevolving) 。 在 复杂 系统 中 ， 子 系 
统 分 为 很 多 层次 ， 大 小 也 各 不 相同 (Multi-level & Multi-scale) 。 


复杂 系统 的 主要 特征 如 下 。 


(智能 性 和 自 适 应 性 。 这 意味 着 系统 内 的 元 素 或 主体 的 行为 遵循 
一 定 的 规则 ， 根 据 “ 环 境 ”" 和 接收 信息 来 调整 目 身 的 状态 和 行为 ， 并 且 


主体 通常 有 能 力 来 根据 各 种 信息 调整 规则 ， 产 生前 所 未 有 的 新 规则 。 
通过 系统 主体 的 相对 低 等 的 智能 行为 ， 系 统 在 整体 上 显现 出 更 高 层 
次 、 更 加 复杂 、 职 能 更 加 协调 的 有 序 性 。 

没有 中 央 控 制 的 局 部 信息 。 在 复杂 系统 中 ， 没 有 哪个 主体 能 够 
知道 其 他 所 有 主体 的 状态 和 行为 ， 每 个 主体 只 可 以 从 个 体 集合 的 一 个 
相对 较 小 的 集合 中 获取 信息 ， 处 理 “ 局 部 信息 ”， 做 出 相应 的 决策 。 系 
统 的 整体 行为 是 通过 个 体 之 间 的 相互 竞争 、 协 作 等 局 部 相互 作用 而 呈 
现 出 来 的 。 最 新 研究 表明 ， 在 一 个 蚂蚁 王国 中 ， 每 一 只 蚂蚁 并 不 是 根 
据 *“ 国 王 > 的 命令 来 统一 行动 ， 而 是 根据 同伴 的 行为 以 及 环境 来 调整 目 
身 行为 ， 而 实现 一 个 有 机 的 群体 行为 。 

另外， 复杂 系统 还 具有 突现 性 、 不 稳 性 、 非 线性 、 不 确定 性 、 不 
可 预测 性 等 特征 。 

(2) 复杂 系统 分 类 

通俗 地 讲 ， 系 统 可 以 分 为 三 类 。 

GO 简单 系统 (Simple System) 。 人 简单 系 统 ， 特 点 是 元 素数 目 特别 
少 ， 因 此 可 以 用 较 少 的 变数 来 描述 ， 这 种 系统 可 以 用 牛顿 力学 来 加 以 
解析 。 简 单 系统 又 是 可 以 控制 、 预 见 和 组 成 的 。 在 管理 学 中 ， 这 种 组 
织 一 般 出 现在 组 织 的 初期 ， 如 一 个 班级 ， 抱 着 同样 的 目的 ， 有 同样 的 
背景 ， 组 成 了 一 个 简单 系统 。 又 如 ， 排 成 一 列 的 买 票 长 队 ， 也 是 一 个 
简单 系统 。 

随机 系统 (Random System) 。 随 机 系统 ， 其 特征 是 元 素 和 变量 
数 很 多 ， 但 其 间 的 耦合 是 微弱 的 ， 或 随机 的 ， 即 只 能 用 统计 的 方法 去 
分 析 。 热 力学 研究 的 对 象 一 般 就 是 这 样 的 系统 。 这 样 的 系统 在 社会 上 
并 不 多 见 ， 但 彩票 就 是 关于 随机 系统 的 一 个 很 好 的 例子 。 

(3 复杂 系统 (Complex System) 。 复 杂 系 统 的 特征 是 元 素数 日 很 
多 ,， 旦 其 间 存 在 着 强烈 的 看 合作 用 。 复 杂 系 统 由 各 种 小 的 系统 组 成 ， 


如 ， 生 态 系统 是 由 各 个 种 群 、 各 种 生物 组 成 的 。 生 态 系统 是 复杂 系统 
一 个 最 好 的 例子 。 当 然 ， 管 理学 中 ， 经 浓 把 一 个 公司 看 作 复杂 系统 ， 
它 兼 有 人 商 单 系统 和 随机 系统 的 各 种 特征 。 


复杂 性 科学 所 感 兴趣 的 正 是 最 后 一 种 有 组 织 的 复杂 系统 。 因 为 对 
于 第 一 种 系统 来 说 ， 传 统 的 牛顿 力学 范式 的 分 析 方 法 已 经 给 出 了 这 类 
系统 行为 的 很 好 的 解释 。 而 对 于 第 二 类 系统 ， 由 于 其 元 素数 目 太 多 ， 
必然 因 元 素 间 的 而 合 而 “失去 ”个 性 ， 从 而 能 够 用 统计 方法 去 人 研究， 成 
为 一 种 简单 的 系统 。 所 以 ， 复 洒 系 统 的 元 素 并 不 是 数目 多 束 复 杂 ， 具 
有 中 等 数目 大 小 的 系统 如 采 是 一 个 有 趣 的 系统 ， 也 是 一 个 复 洒 的 系 


统 。 


(二 ) 复杂 系统 的 小 数据 特征 


(1) 小 数据 的 秩序 


复杂 性 系统 具有 秩序 与 混沌 的 双重 特点 。 它 有 一 定 的 秩序 ， 我 们 
身体 中 的 血液 循环 管道 系统 、 肺 脏 气 管 分 义 过 程 、 大 脑 皮层 、 消 化 道 
小 肠 绒 毛 .…... 绥 含 了 严 齐 的 结构 ， 参 天 的 大 树 、 连 强 的 山脉 、 滞 日 的 
雪花 、 奇 异 的 矿石 ， 更 是 具有 近乎 完美 的 秩序 。 一 个 复杂 性 系统 不 管 
它 表 现 出 如 何 复 杂 的 行为 ， 它 总 是 有 着 潜在 的 秩序 ， 尽 管 有 时 它们 可 
能 不 为 人 知 。 


(2) 小 数据 的 混沌 


复杂 性 系统 还 具有 混沌 的 特点 。 一 个 复杂 性 系统 的 复杂 行为 并 非 
出 目 复 杂 的 基本 结构 ， 而 是 由 许多 独立 的 甚至 相当 人 簿 单 的 单元 的 相互 
作用 形成 的 ， 它 的 控制 力 是 相当 分 散 的 。 在 分 形 理论 中 ， 分 形 图 结构 
相当 复 沫 、 层 层 合 登 、 无 穷 乔 绕 ， 有 着 无 穷 的 艾 套 结构 和 多 重 目 相 似 


性 ， 然 而 它 是 由 计算 机 通过 确定 的 算法 得 到 的 ， 而 且 这 些 算法 往往 相 
当 简单 。 

1987 年 ， 洛 杉 矶 新 柏 利克 斯 公司 (Symbolics Corporation) 的 Craig 
Reynolds 〈 克 雷 格 .雷诺 效 ) 在 一 个 人 工 生命 研讨 会 上 展示 出 了 一 个 计 
算 机 模型 ， 它 将 若干 乌 类 模型 随机 地 放 入 到 处 是 墙 和 障碍 物 的 屏幕 环 
境 之 中 。 每 一 只 “ 乌 ” 者 遵循 三 个 简单 的 规则 : (D 它 尽力 与 其 他 障碍 物 
包括 其 他 “ 乌 ” 保 持 最 小 的 距离 ，C@) 它 尽力 与 其 相 邻 的 * 乌 ”保持 相同 的 
速率 ; (3) 它 尽力 朝 其 相 邻 群 的 聚集 中 心 移动 。 这 个 模型 每 一 次 运行 的 
结 末 都 是 “ 乌 ” 聚 集成 群 。 有 时 “ 乌 ” 群 甚至 能 分 成 更 小 的 群体 从 障碍 物 
的 两 卷 飞 过 ， 又 从 障碍 物 的 男 一 端 重新 聚集 成 群 。 这 些 规 则 中 没有 一 
条 这 样 说 ， 而 只 是 对 每 一 个 单独 的 “ 乌 ” 发 出 指令 。 由 此 看 来 ， 每 个 复 
杂 性 系统 都 具有 时 种 动力 ， 这 种 动力 使 最 简单 的 底层 的 规则 产生 极其 
复杂 的 行为 ， 然 而 这 些 行为 与 决定 论 不 可 预测 的 混 钝 相差 甚 远 。 分 形 
图 形 的 结构 是 复杂 的 ， 它 总 是 有 无 穷 的 缠绕 在 里 面 ， 然 而 它 却 洒 而 不 
和 配 ， 有 其 内 在 的 秩序 ， 有 目 相 似 结构 。 而 事实 上 ， 复 洒 性 系统 不 是 不 
可 预测 ， 而 是 可 以 预示 将 来 。 


(3) 小 数据 的 超出 混沌 


复杂 性 系统 除了 具有 寓 沌 的 部 分 特性 外 ， 还 有 者 超出 混沌 的 特 
二 

中 产生 复杂 行为 的 众多 的 相互 作用 使 每 个 系统 作为 一 个 整体 产生 
了 目 发 性 的 目 组 织 。“ 相 德育 集成 群 ， 原 子 通过 相互 化 合 找 到 最 小 的 
能 量 状态 ， 人 类 为 满足 目 己 的 物质 交换 的 需要 建立 经 济 体制 等 。 在 所 
有 这 些 情形 中 ， 一 组 组 单个 动因 在 寻求 相互 满足 的 同时 获得 了 众多 单 
个 动因 永远 不 可 能 具有 的 集成 的 特征 。 

这些 复 杂 的 ， 具 有 目 组 织 性 的 系统 可 以 自我 调整 。“ 相 德 " 群 分 
成 小 的 群体 从 障碍 物 的 两 旁 飞 过 ， 又 从 障碍 物 的 另 一 端 重 新 到 集 ， 人 
类 在 与 世界 的 接触 中 不 断 学 习 ， 人 脑 随 之 不 断 加 强 或 减弱 神经 元 之 间 


的 无 数 的 相互 关联 :经济 中 的 价值 规律 即 价 格 随 价值 波动 但 长 期 的 总 
的 结 采 趋 于 平衡 。 


(所 有 的 复杂 性 系统 都 可 以 预示 将 来 。“ 柏 德 ”在 遇 到 障碍 物 后 分 
成 更 小 的 群体 ， 但 之 前 的 聚集 状态 预示 着 它 仍 然 会 再 次 聚集 。 长 期 的 
经 济 衰退 会 使 人 们 的 请 费 信 心 下 降 ， 这 恰恰 又 预示 着 经 济 会 进一步 聂 
退 。 从 微小 的 细 于 到 所 有 的 生物 体 ， 其 基因 中 都 含有 预测 的 密码 ， 以 
适应 某 种 未 曾 出 现 过 的 新 环境 。 


‘ 数据 驱动 的 复杂 系统 优化 ， 大 数据 与 小 数 


过 去 我 们 对 于 复杂 系统 了 解 得 不 太 多 ， 另 外 复杂 系统 科学 进步 速 
度 较 为 缓慢 ， 主 要 坪 因 为 数据 采集 手段 不 多 ， 导 致 数据 不 够 。 但 现在 
的 情况 正在 改变 。 比 如 ， 社 会 系统 、 生 态 系统 、 细 胞 中 各 种 大 大 小 小 
的 分 子 构成 的 网 络 、 神 经 系统 等 ， 可 以 大 规模 观察 它们 并 把 数据 记录 
下 来 。 分 子 、 细 胞 、 个 体 、 网 站 、 社 会 团体 、 生 态 系 统 等 各 个 层次 的 
复杂 系统 在 本 质 上 应 该 是 相同 的 ， 尽 管 它们 的 基本 组 成 单位 不 同 ， 导 
致 会 有 很 多 不 同 之 处 ， 各 个 层次 都 有 目 己 的 规律 和 原理 ， 但 共性 和 个 
性 ， 前 者 更 基本 。 具 体 表 现在 它们 可 能 拥有 共同 的 基本 链接 原理 ， 需 
要 能 统一 处 理 它们 的 新 数学 理论 ， 即 复杂 系统 的 “小 数据 系统 ”。 这 种 
数学 理论 能 有 效 地 处 理 大 数据 和 相互 联系 ， 我 们 不 知道 这 种 数学 理论 
和 统计 学 的 关系 是 什么 ， 更 不 知道 谁 会 是 下 一 个 牛顿 或 莱 布 尼 次 ， 会 
在 什么 时 候 出 现 ， 也 不 知道 在 未 来 的 某 一 天 ， 数 据 科 学 和 复杂 系统 科 
学 是 否 会 像 数 理化 一 样 成 为 中 学 生 的 学 习 谍 程 。 

数据 科学 与 复杂 系统 有 一 个 共同 的 终极 目标 ， 束 是 预测 。 但 后 者 
还 寻求 基本 原理 。 前 者 是 后 者 的 基础 ， 因 为 要 理解 复杂 系统 ， 不 但 需 
要 大 数据 和 小 数据 ， 还 需要 对 大 数据 和 小 数据 进行 有 效 分 析 。 


这 两 门 科学 的 发 展 对 人 类 社会 的 影响 会 有 多 大 ? 不 知道 ， 可 能 非 
常 大， 如 像 原 始 社会 的 人 不 会 想到 他 们 的 后 代 会 有 今天 这 样 的 成 就 一 
样 。 因 为 这 两 门 科 学 的 发 展 需要 以 技术 的 进步 为 基础 ， 如 各 种 系统 需 
要 有 效 的 大 规模 观测 和 记录 的 仪器 ， 以 及 对 各 种 仪器 设备 所 产生 的 大 
量 数据 进行 有 效 分 析 的 计算 机 ， 如 测量 日 质 和 核酸 序列 的 第 三 代 测 序 
仪 、 大 型 天 文 望远镜 、 量 子 计 算 机 、 人 体 构 造 、 念 真 机 器 人 、 城 市 布 
局 等 。 我 们 需要 了 解 的 是 小 数据 的 复杂 性 和 复杂 系统 的 小 数据 系统 。 


(四 ) 人 体 构造 ， 每 一 组 数据 都 蕴藏 一 个 奥秘 


我 们 每 个 人 作为 一 个 独立 的 个 体 ， 都 有 一 确 与 生 俱 来 的 复杂 系 
统 ， 这 束 吓 人 体 。 人 体 是 由 细胞 构成 的 ， 细 胞 十 构成 人 体形 态 结构 和 
功能 的 基本 单位 ， 形 态 相 似 和 功能 相关 的 细胞 借助 细胞 间 质 结合 起 来 
构成 的 结构 成 为 组 织 。 几 种 组 织 结合 起 来 ， 共 同 执行 某 一 种 特定 功 
能 ， 并 具有 一 定形 态 特 点 ， 吕 构成 了 做 官 。 奉 干 个 功能 相关 的 春 官 联 
合 起 来 ， 共 同 完成 某 一 特定 的 连续 性 生理 功能 ， 即 形成 系统 。 人 体 由 
九 大 系统 组 成 ， 即 运动 系统 、 消 化 系统 、 呼 吸 系统 、 泌 奈 系 统 、 生 和 殖 
系统 、 内 分 泌 系 统 、 免 疫 系统 、 神 经 系统 和 循环 系统 。 


这 九天 系统 经 过 几 千年 的 演化 帮助 人 类 克服 各 种 灾害 、 疾 病 与 困 
难 ， 使 人 类 存活 在 这 个 地 球 上 。 每 个 系统 有 着 不 同 的 功能 分 工 ， 缺 一 
不 可 。 


人 体 拥有 的 这 九 大 生物 系统 ， 保 障 了 人 类 能 够 紧 稀 至今 而 没有 灰 
绝 。 虽 然 看 起 来 这 些 系统 需要 很 多 配件 进行 配合 ， 犯 错 的 概率 会 增 
大 ， 但 是 比 起 那些 一 个 错误 器 会 致命 的 结构 简单 的 生物 ， 人 类 的 复杂 
系统 反倒 不 会 轻而易举 地 被 破坏 ， 原 因 吏 是 人 体 同 时 存在 着 容错 系 
统 。 肋 胃 不 会 因为 目 生 酸性 极 高 的 胃酸 而 被 腐蚀 ; 运动 时 心脏 会 加 速 
跳动 以 适应 血 氧 需求 ， 血 讨 升 高 时 心率 会 反射 性 下 降 以 缓解 血管 承受 
的 压力 .…… 人 体 如 此 庞大 的 一 个 系统 在 运行 过 程 中 确实 会 经 常 出 现 错 


误 ， 但 是 正 因为 人 体 复 杂 系 统 的 精妙 ， 以 人 类 的 目 我 协调 能 力 ， 发 生 
疾病 的 概率 远 远 低 于 “配件 ”出 错 的 概率 ， 足 以 使 人 类 在 地 球 上 延续 至 


今 。 


(五 ) 仿真 机 器 人 : 每 一 个 人 都 是 一 个 小 宇宙 


仿真 机 絮 人 叉 称 机 器 人 仿真 系统 ， 是 指 以 计算 机 为 基础 ， 用 程序 
或 软件 对 实际 机 器 人 系统 进行 模拟 或 操作 的 技术 。 复 杂 有 的 系统 可 以 通 
过 低层 次 的 代理 在 环境 中 与 环境 进行 沟通 和 交互 ， 表 现 出 高 层次 ( 紧 
急 ) 行为 。 这 些 高 级 行为 不 容易 从 代理 的 低级 行为 规范 中 推导 出 来 ， 
因此 仿真 是 探索 这 些 系统 的 行为 的 关键 组 成 部 分 。 然 而 ， 在 构建 可 执 
行 仿真 之 前 ， 复 杂 的 系统 需要 以 适当 的 计算 术语 来 建 模 ， 即 捕获 各 种 
代理 、 通 信和 以及 它们 与 环境 的 交互 的 术语 。 


(六 ) 城市 布局 : 每 一 座 城市 都 有 一 段 数据 史 


人 类 在 解决 了 目 身 党 衍 问题 之 后 ， 会 有 更 高 的 生理 以 及 心理 需 
求 ， 这 个 时 候 , “城市 * 便 产生 了 。 对 于 城市 ， 世 界 上 没有 一 个 明确 的 
定义 ， 但 大 多 以 人 口 国 值 作为 标准 。 一 个 最 普 直 的 定义 束 古 “人 口 集 
中 ， 拓 民 以 非 农 业 人 口 为 主 ， 工 商业 比较 发 达 的 地 区 ， 是 一 定 地 域 范 
围 内 的 政治 、 经 济 、 文 化 中 心 ”。 在 古代 中 国 , “城市 ?的 定义 应 该 分 
为 “ 城 " 与 “市 ”两 个 部 分 ,“ 城 "代表 着 城墙 ~ 守卫 以 及 区 域 ,，“ 市 ”代表 着 
市 场 、 交 易 、 闫 卖 。 对 于 中 国 来 说 ， 城 市 的 定义 大 概 应 为 一 个 人 口 密 
集 窜 大 、 有 城墙 进行 体 护 ， 同 时 能 够 进行 交易 与 严 卖 的 区 域 。 目 前 考 
古 发 现 人 类 最 早 的 城市 是 在 两 河流 域 中 下 游 公元 前 3500 年 的 苏 美 尔 文 
化 时 期 ， 有 尼 普 尔 城 、 古 巴比伦 城 ， 中 国有 考古 发 据 证 明 的 最 早 城市 
在 河南 仿 师 二 里 头 ， 年 代为 公元 前 2100~ 前 1700 年 。 经 过 了 上 千年 的 演 


化 后 ， 城 市 也 拥有 了 目 己 的 一 父 复 杂 系 统 来 维持 目 身 的 运转 ， 如 大 小 
城市 应 如 何 按 结构 配置 ? 每 个 地 区 的 城市 规模 应 该 有 多 大 ? 城市 间 、 
城市 地 区 间 合 理 联 系 的 程度 与 物质 、 能 源 、 人 口 、 信 息 流 的 程度 如 何 
控制 ? 


瓯 现代 城市 来 说 ， 一 个 城市 大 体 有 以 下 四 类 复杂 系统 : 城市 社会 
系统 ， 由 城市 的 政治 系统 、 文 化 系统 和 人 口 系统 构成 ; 城市 产业 经 济 
系统 ， 由 第 一 产业 、 第 二 产业 和 第 三 产业 组 成 ;城市 空间 系统 ， 由 城 
市 要 素 的 选 址 、 城 市 空间 集聚 程度 以 及 城市 空间 形态 组 成 ; 城市 其 他 
系统 ， 包 括 了 城市 市 政 基础 设施 系统 以 及 社会 设施 系统 。 联 合 国 人 类 
住 区 规划 署 在 2009 年 指出 全 世界 半数 以 上 的 人 口 居 住 在 城市 地 区 ， 而 
且 这 个 数字 到 2030 年 有 望 增 长 到 并 超过 67%， 达 到 约 50 亿 人 。 随 着 城 
市 的 发 展 以 及 城市 化 进程 的 加 快 ， 城 市 人 口 越 来 越 多 ， 城 市 需要 的 资 
源 也 会 越 来 越 多 ， 城 市 会 慢 慢 衍生 出 一 些 新 的 系统 来 解决 出 现 的 问题 
或 满足 人 类 的 需求 ， 如 公共 交通 系统 、 城 市 慢 行 系统 、 城 市 标识 系 
统 、 城 市 生态 系统 、 城 市 防 灾 减 灾 系 统 等 。 

城市 作为 一 个 “人 造物 >"， 至 少 近 期 不 太 可 能 做 到 和 人 体 一 样 通过 
精密 的 系统 协调 机 体 的 整体 运作 ， 所 以 出 现 了 一 系列 的 城市 问题 、 城 
市 病 ， 如 人 口 膨 胀 、 交 通 拥堵 、 环 境 污 染 、 生 态 破 坏 、 资 源 匮 乏 、 城 
市 贫困 等 ， 但 是 随 着 城市 系统 越 来 越 完 善 ， 城 市 的 整体 运作 能 力 将 会 
越 来 越 强 大 ， 向 人 体系 统 看 齐 。 近 些 年 ， 规 划 界 一 个 新 词 频繁 出 现 ， 
那 就 是 “韧性 规划 ”。“ 韦 性 规划 ”主要 考验 的 是 一 个 城市 应 对 突 发 状况 
时 的 抵抗 能 力 以 及 恢复 能 力 ， 与 人 体 的 容错 机 制 有 些 相 似 。 这 一 开放 
性 、 包 容 性 的 城市 思维 在 很 大 程度 上 挑战 了 传统 的 城市 规划 思想 ， 更 
加 注重 利用 跨 领域 合作 的 策略 空间 来 规划 城市 的 发 展 方 同 。 简 单 地 
说 ， 我 们 可 以 把 现行 的 “土地 使 用 规划 * 视 为 单行 道 ， 而 把 “策略 空间 规 
划 ” 看 作 双 和 同道 。 例 如 ， 极 端 降雨 所 造成 的 洪水 问题 ， 常 常 对 城市 产生 
威胁 ， 但 由 于 极端 降雨 的 强度 与 频率 都 具有 高 度 不 确定 性 ， 用 工程 手 
段 (如 超大 堤防 、 超 级 抽水 管 ) 来 应 对 的 话 ， 不 仅 花 费 不 菲 ， 也 无 法 
确保 城市 能 得 到 100% 的 保护 。 从 策略 空间 规划 的 角度 ， 和 凭借 跨 领 域 的 


讨论 与 协调 ， 可 以 提供 较 多 元 且 全 面 的 应 对 措施 〈 如 滞洪 区 管制 、 抽 
排水 系统 管理 ， ， 进 而 降低 极端 事件 所 造成 的 影响 ， 提 高 城市 各 个 系 
统 的 应 急 能 力 与 恢复 能 


二 、 人 小 数据 推动 目 适应 系统 的 进化 


(一 ) 目 适 应 系统 与 小 数据 


(1) 自 适 应 系统 简介 


自 适应 (Self-Adaptive) 是 指 处 理 和 分 析 过 程 中 ， 根 据 处 理 数据 
的 数据 特征 目 动 调整 处 理 方法 、 处 理 顺序 、 处 理 参 数 、 边 界 条 件 或 约 
束 条 件 ， 使 其 与 所 处 理 数 据 的 统计 分 布 特征 、 结 构 特 征 相 适应 ， 以 取 
得 最 佳 的 处 理 效 采 。 

目 适 应 过 程 是 一 个 不 断 副 近 目 标的 过 程 。 它 遵循 的 途径 以 数学 模 
型 表示 ， 称 为 目 适 应 算法 。 通 前 末 用 基于 梯度 的 算法 ， 其 中 最 小 均 方 
误差 算法 〈 即 LMS 算 法 ) 尤为 党 用。 和 目 适应 算法 可 以 用 硬件 (处 理 电 
路 ) 或 软件 (程序 控制 ) 两 种 方法 实现 。 前 者 依据 算法 的 数学 模型 设 
计 电 路 ， 后 者 则 将 算法 的 数学 模型 编制 成 程序 并 用 计算 机 实现 。 算 法 
有 很 多 种 ， 它 的 选择 很 重要 ， 决 定 了 处 理 系 统 的 性 能 质量 和 可 行 性 。 

目 适 应 系统 是 复杂 系统 中 的 一 种 。 目 适应 系统 是 一 种 可 以 目 行 修 
正 的 控制 系统 。 前 面 提 到 复 洒 系统 的 特性 是 多 元 素 的 信息 之 间 有 错 综 
复杂 的 关系， 改变 运行 的 环境 和 新 的 信息 会 对 系统 产生 影响 ， 而 人 为 
地 去 修正 这 些 影响 将 是 一 项 庞大 的 工程 。 

传统 的 控制 系统 在 运行 过 程 中 一 般 都 设 定 有 线性 的 数学 模型 ， 这 
个 模型 写 在 运行 前 束 已 经 确定 的 ， 但 是 随 着 环境 的 变化 和 变量 条 件 的 
改变 ， 很 多 时 候 我 们 是 无 法 确定 这 样 一 个 线性 数学 模型 的 ， 而 且 只 
当 模型 中 所 需 已 知 量 确定 的 时 候 才 可 以 进行 分 析 和 控制 万 设计 。 


随 看 数字 技术 的 发 展 ， 这 样 的 系统 能 够 在 应 对 环境 变化 的 时 候 目 
行 调整 ， 使 其 在 运行 的 过 程 中 ， 在 条 件 允 许 的 情况 下 ， 根 据 输入 和 和 输 
出 数据 进行 学 习 ， 进 而 去 适应 新 的 环境 ， 始 终 保持 能 够 获得 最 优化 的 
或 者 次 优化 的 行进 办 法 。 目 适应 控制 殉 是 硕 望 能 够 目 动 地 去 补偿 这 些 
未 知 的 变化 。 

自 适应 系统 也 是 需要 模型 的 ， 但 是 自 适应 系统 的 模型 有 一 些 特 
征 。 首 先是 对 于 信息 的 在 线 累 积 和 对 于 系统 的 可 调整 性 ， 因 为 原 有 数 
据 具 有 不 确定 性 ， 对 于 数据 的 素 积 可 以 降低 这 样 的 不 确定 性 ， 而 且 原 
有 模型 中 的 参数 值 也 是 不 确定 的 ， 有 质量 地 增加 数据 ， 可 以 调整 参数 
值 。 对 于 模型 来 说 ， 也 十 可 以 调整 的 。 对 于 性 能 指标 的 控制 ， 主 要 有 
对 模型 参考 、 目 动 校正 、 收 敛 性 、 鲁 棒 性 的 控制 。 


(2) 自 适应 系统 分 类 


1952 年 ， 美 国 麻 省 理工 学 院 首 和 匈 研 究 制造 出 了 测试 性 数字 控制 系 
统 。 之 后 出 现 了 增益 目 适 应 控制 、 模 型 参考 自 适 应 控制 (MRAC) 、 
自 校 正 控制 (STC) 、 直接 优化 目标 函数 自 适 应 控制 、 模 糊 自 适应 控 
制 、 多 模型 目 适 应 控制 和 目 适 应 逆 控 制 等 。 目 前 比较 成 熟 的 是 模型 参 
考 目 适 应 控制 和 目 校 正 控 制 。 


模型 参考 目 适 应 控制 主要 应 用 于 电力 拖 动 领域 。 在 解决 船舶 目 
动 当 驶 的 问题 上 能 有 效 地 应 对 外 界 环境 的 变化 ， 比 如 ， 风 力 、 波 银 的 
变化 对 于 船舶 目 动 驾 驶 时 性 能 的 改变 ， 满 足 船舶 的 操作 安全 。 

史 目 校正 控制 系统 主要 用 来 辨识 过 程 参 数 。 系 统 主要 用 于 优化 性 
能 指标 和 对 和 铝 规 性 指标 进行 综合 校正 ， 一 般 使 用 最 小 方 关 方法 、 最 小 
二 乘法 和 最 大 似 然 法 ， 使 用 这 些 方法 能 使 系统 的 性 能 达到 最 优 。 


(二 ) 上 自 适应 系统 的 小 数据 特征 


(1) 自 适 应 控制 是 一 门 研究 具有 不 确定 性 系统 控制 问题 的 学 科 。 
它 征 “工程 控制 论 ? 基 本 学 科 中 的 一 个 分 文学 科 。 目 适应 控制 可 以 看 作 
一 个 能 根据 环境 变化 智能 调节 目 身 特性 的 反馈 控制 系统 ， 以 使 系统 能 
够 按照 一 些 设 定 的 标准 在 最 优 状 态 工作 。 目 适应 控制 在 航空 、 导 弹 和 
空间 飞行 器 的 控制 中 应 用 很 成 功 。 

(2) 自 适 应 滤波 器 是 能 够 根据 输入 信号 自动 调整 性 能 进行 数字 信 
写 处 理 的 数字 滤波 夯 。 作 为 对 比 ， 非 目 适 应 滤波 丛 有 静态 的 滤波 内 系 
数 ， 这 些 静 态 系 数 一 起 组 成 传递 钞 数 。 


对 于 一 些 应 用 来 说 ， 由 于 事先 并 不 知道 所 需要 进行 操作 的 参数 ， 
如 一 些 品 声 信和 号 的 特性 ， 所 以 要 求 使 用 目 适 应 的 系数 进行 处 理 。 在 这 
种 情况 下 ， 通 第 使 用 目 适 应 滤波 器 ， 根 据 使 用 其 反馈 来 调整 滤波 旭 系 
数 以 及 频率 响应 。 

总 的 来 说 ， 目 适应 的 过 程 涉及 将 价值 画 数 用 于 确定 如 何 更 改 滤波 
妖 系 数 从 而 减 小 下 一 次 送 代 过 程 成 本 的 算法 。 价 值 画 数 是 滤波 右 最 佳 
性 能 的 判断 准则 ， 比 如 ， 减 小 输入 信和 号 中 的 噪声 成 分 的 能 

随 看 数字 信和 号 处 理 如 性 能 的 增强 ， 目 适应 滤波 紫 的 应 用 越 来 越 常 
见 ， 时 至 今日 它们 已 经 被 广泛 地 应 用 于 手机 以 及 其 他 通信 设备 、 数 码 
录像 机 和 数码 照相 机 以 及 医疗 监测 设备 中 。 


(三 ) 复 洒 目 适 应 系统 与 强人 工 乔 能 的 实现 ， 大 
数据 与 小 数据 


强人 工 智能 是 能 够 与 人 类 智能 相 匹配 甚至 超越 人 类 智能 的 人 工 智 
能 ， 具 有 强人 工 智能 的 机 套 能 够 成 功 地 表现 出 人 类 具有 的 所 有 智能 。 
强人 工 智能 是 人 工 智能 研究 的 终极 目标 ， 也 是 科 约 小 说 作家 和 未 来 科 
学 家 的 重要 话题 。 相 对 于 强人 工 智能 的 是 弱 人 工 智能 ， 它 通过 使 用 软 
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件 来 研究 或 实现 特定 的 问题 求解 或 推理 任务 ， 不 以 实现 全 部 的 人 类 认 
知 智能 为 目标 。 

关于 强人 工 智能 的 基本 原理 和 将 学 争论 仍 在 继续 ， 目 前 人 工 智 能 
的 研究 主要 是 弱 人 工 智能 。 人 工 知 能 发 展 了 50 多 年 ， 在 崎 蚁 不 平 的 道 
路 上 取得 了 可 喜 的 进展 ， 特 别 是 与 机 器 学 习 、 数 据 挖 握 、 计 算 机 视 
觉 、 专 家 系统 、 目 然 语言 处 理 、 规 划 和 机 顺 人 等 相关 的 应 用 带 来 了 民 
好 的 经 痢 效益 和 社会 效益 。 但 是 ， 弱 人 工 智能 是 先天 不 足 的 ， 因 为 它 
试图 通过 程序 的 执行 去 模拟 复杂 的 人 类 智能 。 即 使 算法 无 比 转 越 、 计 
算 机 的 运算 速度 无 比 快 速 ， 运 用 最 先进 的 人 工 闹 能 技术 造 束 的 计算 机 
的 智能 也 比 不 上 一 个 初生 竖 儿 的 智能 。 

强人 工 智能 的 实现 是 可 能 的 ， 但 是 思路 到 改 变 ， 通 过 线性 执行 程 
序 去 模拟 智能 的 方法 是 有 其 极限 的 ， 这 十 不 可 突破 的 瓶 宽 ， 因 为 弱 人 
工 智能 中 广泛 使 用 的 符号 表示 和 搜索 往往 是 很 难 的 。 即 使 量子 计算 机 
被 成 功 研 制 ， 运 算 量 不 再 古 个 问题 ， 精 心 编制 的 软件 也 足以 保证 机 器 
通过 图 灵 测 试 ， 但 是 关于 通过 图 灵 测 试 吓 否 意 味 着 强人 工 乔 能 的 争论 
仍然 存在 。 因 此 ， 我 们 需要 回 到 问题 的 源头 : 智能 是 什么 ? 它 是 如 何 
PE? 


人 之 所 以 具有 如 此 丰富 而 复杂 的 智能 表现 ， 是 因为 人 类 智能 的 来 
源 一 一 大 脑 的 复杂 性 。 人 类 中 枢 神 经 系统 中 约 含 1 000 亿 个 神经 元 ， 仅 
大 脑 皮 层 中 就 约 有 140 亿 个 ， 这 些 神经 元 之 间 具 有 高 度 复 洒 的 相互 联 
系 。 正 古 大 脑 的 这 种 复杂 性 ， 为 希 能 的 复 洒 表现 提供 了 生物 基础 。 
个 神经 元 与 周围 的 神经 元 相互 联系 ， 并 不 存在 对 所 有 神经 元 的 统一 控 
制 ， 铬 干 神经 元 共同 作用 形成 大 脑 的 某 个 功能 区 ， 大 脑 各 个 区 域 各 司 
其 职 ， 协 同 作 用 ， 最 终 形 成 了 智能 。 这 些 都 是 复杂 目 适 应 系统 的 表 
现 ， 复 杂 目 适应 系统 的 一 个 重要 特征 是 清 现 现象 。 所 谓 清 现 ， 是 指 复 
杂 系 统 的 多 个 要 素 组 成 系统 后 ， 出 现 了 系统 组 成 前 单个 要 素 所 不 具有 
的 性 质 ， 这 个 性 质 并 不 存在 于 任何 单个 要 素 当 中 ， 而 是 系统 在 低层 次 


构成 高 层次 时 才 表 现 出 来 ， 所 以 人 们 形象 地 称 其 为 “请 现 ”。 对 作为 复 
杂 目 适应 系统 的 神经 元 网 络 而 言 ， 知 能 束 是 其 涌现 现象 。 


因 些 ， 我 们 认为 智能 作为 一 种 高 级 生命 现象 ， 想 用 线性 执行 程序 
来 模拟 的 方法 注定 是 鉴 脚 的 ， 知 能 是 一 种 复杂 有 自 适 应 系统 的 神经 元 网 
络 的 涌现 现象 。 所 以 实现 强人 工 智能 的 最 可 行 的 方法 是 用 人 工 神 经 网 
络 模拟 搭建 类 似 的 复杂 系统 。 这 是 一 项 庞大 的 工程 ， 也 是 一 片 广阔 的 
研究 领域 。 在 研究 过 程 中 ， 自 上 而 下 的 方法 是 有 帮助 的 ， 如 将 复杂 网 
络 分 解 成 目 我 意识 模块 、 记 忆 模 块 、 情 绪 模 块 等 。 我 们 认为 自我 意识 

(Self-Awareness) 同样 作为 神经 元 网 络 的 涌现 现象 ， 在 强人 工 智 能 的 
实现 中 起 到 了 核心 作用 。 


(1) 复杂 系统 与 复杂 自 适应 系统 


复杂 目 适 应 系统 理论 (CAS) 是 在 1994 年 Santa Fe 研究 所 成 立 十 周 
年 时 ， 由 霍 兰 德 (Holland) 教授 在 题 为 “隐藏 的 秩序 ” (Hidden 
Order) 的 报告 中 提出 的 。CAS 理 论 最 基本 的 思想 是 自 适 应 性 产生 复杂 
性 。 我 们 把 系统 中 的 成 员 称 为 具有 自 适 应 性 的 行为 主体 (Adaptive 
Agent) ， 简 称 为 主体 。 所 谓 具 有 上 自 适 应 性 ， 就 是 指 它 能 够 与 环境 以 及 
其 他 主体 进行 交流 ， 在 这 种 交流 的 过 程 中 “学 习 ? 或 “积累 经 验 ”， 并 且 
根据 学 到 的 经 验 改变 目 身 的 结构 和 行为 方式 。 整 个 系统 的 演变 或 进 
化 ， 包 括 新 层次 的 产生 、 分 化 和 多 样 性 的 出 现 ， 新 的 、 聚 合 而 成 的 、 
更 大 的 主体 的 出 现 ， 都 是 在 这 个 基础 上 实现 的 。 


CAS 理 论 把 系统 的 成 员 看 作 具 有 目 身 目的 与 主动 性 的 、 积 极 的 “ 活 
的 ”主体 。 更 重要 的 是 ，CAS 理 论 认为 ， 正 古 这 种 主动 性 以 及 它 与 环境 
的 反复 的 、 相 互 的 作用 ， 才 是 系统 发 展 和 进化 的 基本 动因 。 安 观 的 变 
化 和 个 体 分 化 都 可 以 从 个 体 的 行为 规律 中 找到 根源 。 

神经 元 网 络 是 复杂 目 适 应 系统 的 典型 例子 ,十 分 明显 地 体现 了 复 
杂 目 适应 系统 的 上 述 七 个 特征 。 在 神经 元 网 络 中 ， 每 个 神经 元 与 周转 
神经 元 相互 作用 ， 这 种 相互 作用 十 高 度 非 线性 的 ; 每 时 每 刻 ， 都 有 大 


量 神经 元 死亡 ， 同 时 又 有 大 量 神经 元 产生 ， 神 经 元 与 神经 元 之 间 连 接 
的 拓扑 结构 和 连接 强度 随时 都 在 变化 。 单 个 独立 的 神经 元 是 不 具有 知 
能 的 ， 它 只 是 生化 反应 的 载体 ， 但 正 是 从 数 以 亿 万 计 的 神经 元 相互 连 
接 构 成 的 神经 元 网 络 中 浦 现 出 了 智能 。 


了 解 了 智能 的 来 源 后 ， 我 们 就 明白 了 ， 为 什么 通过 线性 执行 程序 
去 实现 强人 工 智能 的 方法 是 行 不 通 的 。 这 种 方法 试图 通过 一 种 与 形成 
人 类 智能 截然 不 同 的 途径 去 实现 智能 ， 用 线性 去 模拟 非 线性 ， 用 确定 
去 模拟 随机 ， 最 后 发 现 面 对 的 是 令 人 望 而 生 且 的 计算 复杂 度 。 


因此 ， 实 现 强 人 工 智能 的 最 可 行 的 方法 是 搭建 类 似 神经 网 络 的 复 
杂 系 统 ， 这 是 一 项 庞大 的 工程 ， 但 并 非 不 能 完成 的 任务 ， 需 要 神经 生 
理学 家 、 心 理学 家 、 计 算 机 专家 和 数学 家 的 密切 合作 。 


(2) 自我 意识 


很 多 人 都 不 同意 通过 图 灵 测 试 作为 具有 智能 的 标准 ， 反 驭 的 理由 
主要 是 图 灵机 并 不 能 像 人 一 样 真正 理解 语句 后 面 的 意义 ， 它 或 许可 以 
操作 语法 ， 但 无 法 理解 语义 。 为 表明 这 一 点 ， 塞 尔 设计 了 “中 文 房 
间 ” 思 想 实验 : 设想 你 坐 在 一 间 有 两 个 小 孔 的 屋子 里 ， 从 一 个 小 孔 递 给 
你 一 些 你 根本 不 认识 的 中 文字 符 ， 也 束 是 说 你 完全 不 知道 这 些 字 符 的 
意义 。 但 是 你 有 一 本 操作 规程 ， 根 据 该 操作 规程 你 可 以 把 递 给 你 的 那 
些 中 文字 符 转换 为 为 一 些 中 文字 符 ， 然 后 将 这 些 新 的 字符 从 为 一 个 小 
孔 送 出 去 。 简 单 地 说 ， 我 们 对 这 个 房间 只 做 下 面 三 件 事 : (中文 字符 
被 送 入 房间 ;人 按照 操作 规程 ， 将 输入 的 中 文字 符 转 换 为 另 一 些 中 文 
字符 ; 多 将 新 的 中 文字 符 送 出 房间 。 塞 尔 指出 ， 房 间 里 的 人 完全 不 理 
解 中 文 ， 甚 至 根本 不 知道 自己 所 处 理 的 符号 就 是 中 文 ， 更 不 知道 自己 
正确 地 回答 了 中 文 问题 。 因 此 ， 塞 尔 得 到 结论 ， 纯 形式 的 符号 处 理 不 
足以 产生 心灵 《Mind， 心 灵 哲 学 的 研究 对 象 ， 与 智能 相关 但 不 同 于 智 
能 ， 可 以 理解 为 最 高 层次 的 智能 ， 如 信念 、 和 欲望 、 和 意图、 情感 等 ) 。 
我 们 认为 塞 尔 的 反 驭 是 有 力 的 ， 但 问题 的 本 质 是 ， 无 论 是 对 图 灵机 还 


是 对 塞 尔 的 中 文 房 间 ， 我 们 有 理由 认为 它们 都 不 具有 心灵 ， 这 是 因为 
它们 没有 目 我 意识 。 程 序 的 一 大 特征 是 被动 执行 ， 程 序 可 以 通过 人 逻辑 
推理 进行 问题 求解 ， 但 是 它 并 不 能 真正 理解 问题 的 意义 。 

篆 卡 儿 (Descartes) 有 句 名言: “我 思 故 我 在 。” 对 一 个 智能 体 来 
说 ， 关 键 在 于 具有 思考 的 能 力 ， 也 在 于 能 够 意识 到 上 自己 在 思考 。 我 们 
可 以 随时 意识 到 自身 的 姿态 、 和 里 处 何 时 何 处 ， 思 考 时 ， 我 们 可 以 意识 
到 自身 处 于 正在 思考 的 状态 ， 我 们 有 信念 、 有 人 欲望、 有 意图 ; 我 相 
| 我 想 要 ..…... 我 打算 ...... 而 霍华德 .加 德 纳 (Howard Gardner) 将 
人 的 智能 分 成 七 类 : 语言 能 力 、 逻 辑 能 力 、 视 觉 / 空 间 感 、 音 乐 感 、 形 
体 姿 态 调节 、 人 际 交 往 能 力 、 内 省 能 力 ， 从 中 很 容易 看 到 ， 每 种 智能 
都 无 一 例外 地 指 回 一 个 “我 >， 目 我 意识 在 智能 中 处 于 中 枢 地 位 ， 这 正 
是 图 灵机 所 不 具有 的 。 没 有 了 上 自我 意识 ， 或 许 我 们 就 成 了 刺激 -反应 
体 ， 或 者 被 动 行动 的 行 尸 走 肉 ， 我 们 意识 不 到 目 己 从 哪 来 ， 将 去 往 何 
处 ， 没 有 过 去 也 没有 未 来 ， 这 是 多 和 勾 可 怕 的 图 景 啊 。 

因此 ， 为 实现 强 AI， 在 搭建 人 工 神经 网 络 时 ， 必 须 具 有 目 我 意识 
模块 。 关 于 神经 元 网 络 如 何 产生 目 我 意识 的 机 理 还 在 研究 中 ， 有 以 下 
两 个 想法 值得 关注 。D 自 我 意识 是 可 以 分 层次 的 ， 从 关注 自身 机 体 状 
态 和 号 体 姿态 的 低级 自我 意识 (通常 我 们 不 会 有 意识 地 去 关注 ) 到 信 
念 、 和 欲望 、 意 图 等 高 级 自我 意识 。G) 语 言 在 自我 意识 形成 过 程 中 有 着 
重要 作用 。 我 们 思考 时 离 不 开 语 言 ， 对 目 我 的 意识 也 离 不 开 语 言 ， 语 
言 与 思维 的 关系 仍 是 个 令 人 费解 的 问题 。 


(四 ) 自 适 应 巡航 系统 : 大 环境 与 小 环境 的 适应 


目 动 巡 航 系统 在 车 辆 上 的 应 用 如 今 已 经 很 普及 了 。 尤 其 是 当 我 们 
在 高 速 路 上 的 时 候 ， 长 时 间 地 行驶 车 辆 会 导致 疫 素 。 开 局 的 目 动 巡航 
系统 对 于 司机 来 说 可 以 减少 踩踏 油门 次 数 ， 这 也 是 一 种 休 轧 。 但 是 以 


前 自动 巡航 系统 速度 是 需要 司机 自行 去 调节 的 ， 当 与 前 车 车 距 变 小 
时 ， 司 机 仍 需 要 手动 或 者 刹车 才能 改变 车 速 。 


如 今 汽 车 上 的 目 适应 巡航 系统 可 以 在 车 速 大 于 25 公 里 /时 时 目 动 开 
司 。 汽 车 的 雷达 会 目 动 监测 与 前 车 的 车 距 ， 在 雷达 探测 发 现 车 距 小 于 
预定 车 距 时 ， 目 适应 巡航 系统 会 目 动 对 车 辆 进行 减速 处 理 。 对 于 前 方 
刹车 的 情况 ， 巡 航 系 统 会 降低 车 速 ， 直 到 低 于 25 公 里 /时 后 实现 “ 集 车 / 
起 步 ” 的 功能 。 这 样 的 系统 在 城市 中 也 可 以 使 用 (如 图 6-1 所 示 ) 。 


辅助 设施 


图 6-1 自 适 应 巡航 雷达 区 域 示意 图 


(五 ) 目 适 应 遗传 算法 : 群体 与 个 体 的 进化 


生物 上 讲 ， 个体 的 形态 特征 很 大 程度 上 是 由 染色 体 和 基因 决定 
的 。1975 年 ， 美 国 密歇根 大 学 教授 约翰 ' 霍 兰 德 (J.Holland) 教授 提出 
了 遗传 算法 (Genetic Algorithm，GA) 。 这 种 算法 是 通过 模拟 达尔 文 
生物 进化 论 中 的 自然 选择 和 上 自然 进化 过 程 来 搜索 最 优 解 的 过 程 。 某 一 
个 种 群 可 能 是 根据 基因 在 选择 淘汰 、 加 入 新 的 基因 之 后 所 演化 完成 
的 。 在 这 个 过 程 中 ， 淘 汰 的 基因 和 新 加 入 的 基因 数量 上 应 当 相 同 ， 以 
保证 种 群 的 大 小 不 变 。 种 群 的 演化 实际 上 是 一 直 在 进行 的 ， 不 会 终 
止 。 但 是 对 于 算法 程序 来 说 ， 我 们 需要 给 定 一 个 计算 停止 的 条 件 。 这 
样 ， 当 我 们 定义 好 所 有 的 元 素 后 ， 选 择 一 个 种 群 ， 束 可 以 通过 算法 得 
到 最 优 解 。 这 个 过 程 使 用 概率 的 方法 、 不 确定 的 规则 去 寻找 最 优 解 。 


遗传 算法 的 基本 运算 过 程 是 ， 通 过 对 初始 化 基因 的 适应 度 评价 进 
行 选择 ， 将 优化 的 个 体 和 新 加 入 的 个 体 这 入 下 一 步 的 运算 中 。 接 着 进 
行 交 驻 和 变异 运算 ， 在 变异 运算 的 过 程 中 可 以 对 原始 的 基因 进行 变 
动 。 而 后 根据 设置 的 终止 判定 条 件 终止 运算 ， 这 个 终止 条 件 一 般 为 给 
定 的 病 值 。 当 算法 中 的 个 体 达 到 这 个 病 值 的 时 候 ， 输 出 具有 最 大 适应 
度 的 个 体 ， 这 个 个 体 束 是 最 优 解 。 

目 适 应 遗传 算法 是 对 基本 遗传 算法 中 的 基因 中 的 遗传 参数 进行 调 
整 提 高 运算 速度 和 精度 ， 主 要 是 通过 对 种 群 规模 、 计 算 流 程 、 遗 传 算 
子 、 参 数 设 计 的 改变 ， 求 解 对 于 GA 算 子 的 影响 力 。 目 适应 算法 中 的 群 
体 策 略 提出 种 群 的 可 变性 ， 对 于 不 同 种 群 的 特征 有 不 同 的 优化 。 


三 、 小 数据 助力 模糊 系统 的 应 用 


(一 ) 模糊 系统 与 小 数据 


(1) 模糊 系统 简介 


客观 现实 中 存在 需要 模糊 的 概念 ， 这 样 的 概念 不 是 一 个 确定 的 概 
念 ， 不 是 简单 的 对 与 错 可 以 判断 的 ， 但 是 我 们 希望 对 这 样 的 概念 进行 
分 析 从 而 得 出 一 个 确定 的 结论 ， 利 用 模糊 数学 的 方法 和 思维 去 处 理 模 
糊 概 念 。1965 年 ， 美 国 的 扎 德 创立 了 模糊 集合 论 ， 模 糊 集合 论 是 用 来 
描述 模糊 的 概念 的 ， 他 将 这 些 模 糊 概念 作为 集合 ， 以 数学 为 基础 ， 研 
究 这 些 不 是 “ 非 黑 即日 "的 状况 ， 通 过 建立 一 定 的 隶属 函数 ， 对 这 些 模 
糊 的 概念 进行 运算 。1973 年 ， 他 给 出 了 模糊 逻辑 控制 的 定义 和 相关 的 
理论 。1974 年 ， 英 国 的 马 姆 得 尼 (Mamdani) 用 模糊 控制 语句 组 成 模 
灶 控 制 器 ， 这 项 研究 第 一 次 在 锅炉 和 莹 汽机 上 的 成 功 运用 标志 着 模糊 
控制 论 的 诞生 。 

传统 的 控制 是 精确 鸭 ， 可 以 用 来 控制 简单 的 系统 ， 但 是 对 于 元 系 
多 、 变 量 多 、 信 息 多 而 且 概 念 模 糊 的 系统 ， 传 统 的 控制 就 没有 办 法 做 
到 了 ， 这 残 需要 模糊 控制 的 出 现 。 模 糊 控制 给 予 的 是 一 个 非 线 性 的 控 
制 ， 是 智能 控制 的 范围 ， 除 了 有 系统 化 的 理论 外 ， 还 有 实际 的 经 验 来 
操作 ， 模 拟人 类 的 思维 ， 将 这 些 经 验 和 信息 转化 成 语言 ， 对 其 进行 推 
理 和 判断 ， 从 而 避 开 数学 方程 式 中 只 能 进行 规则 的 判断 ， 而 不 能 转化 
和 学 习 经 验 中 的 判断 信息 弊端 。 这 样 的 系统 对 于 人 工 智 能 来 说 ， 是 至 
天 重要 的 。 


广义 的 模糊 系统 理论 是 指 推广 通常 的 系统 理论 得 到 的 ， 以 模糊 集 
合 的 形式 表示 系统 所 含 的 模糊 性 并 能 处 理 这 些 模 糊 性 的 模糊 理论 ， 主 
要 包括 模糊 数学 理论 、 模 糊 系 统 、 模 糊 决 策 和 模糊 逻辑 等 方面 的 内 

狭义 的 模糊 系统 理论 就 是 指 模糊 系统 ， 包 括 模糊 控制 、 模 糊 信号 
处 理 、 通 信 及 可 能 性 理论 不 确定 性 的 度量 等 (如 图 6-2 所 示 ) 。 


计 A \ 确 定性 模糊 逻辑 与 
模糊 系统 | ”| 模糊 决策 1 i 


模糊 集合 、 模糊 模糊 可 能 性 理论 、 
模糊 测度 、 控制 言 号 处 理 加 不 确定 性 的 
模糊 分 析 、 度量 


控制 器 设计 
稳定 性 分 析 


模式 识别 
图 像 处理 


图 6-2 模糊 系统 理论 框架 
(2) 模糊 系统 分 类 


模糊 系统 主要 有 三 种 类 型 。 

一 种 钙 纯 模糊 逻辑 系统 。 这 种 系统 仅 由 模糊 规则 库 和 模糊 推理 机 
组 成 ， 可 以 说 是 后 面 两 种 系统 的 基础 ， 因 为 它 的 输入 值 和 输出 值 都 是 
模糊 集合 (如 图 6-3 所 示 ) 。 


模糊 规则 库 


输入 模糊 集合 输出 模糊 集合 


模糊 推理 机 


图 6-3 纯 模 糊 逻 辑 系统 


在 应 用 的 时 候 我 们 需要 精确 的 数值 ， 因 此 ， 在 此 基础 上 ， 科 学 家 
建立 了 另外 两 种 模型 : 高 木 - 关 野 (Takagi-Sugeno) 型 模糊 逻辑 系统 和 
Mamdani 型 模糊 系统 。 高 木 - 天 时 型 模糊 逻辑 系统 的 输出 值 在 没有 模糊 
消除 需 的 情况 下 仍然 是 精确 值 ， 能 够 充分 利用 参数 估计 的 方式 来 确定 
系统 参数 ， 但 是 不 能 充分 利用 专家 知识 ， 其 目 由 度 也 受到 一 定 限 制 。 
Mamdani 型 模糊 系统 是 在 纯 模糊 逻辑 系统 中 加 入 了 模糊 消除 器 和 模糊 
产生 器 ， 所 以 其 输入 值 和 输出 值 都 是 精确 值 ， 这 个 系统 可 以 在 实际 的 
工程 中 广泛 应 用 (如 图 6-4 所 示 ) 。 


模糊 规则 库 


模糊 产生 需 模糊 推理 机 模糊 消除 需 


图 6-4 Mamdani 型 模糊 系统 


模糊 控制 目前 在 我 们 的 生活 中 与 智能 控制 、 神 经 控制 、 算 法 优化 
相 结合 ， 并 为 其 提供 基本 的 理论 基础 。 这 些 结合 可 以 为 人 工 智能 和 机 


学 习 提 供 很 好 的 内 部 程序 。 模 糊 控 制 与 其 他 控制 方法 的 结合 产生 了 
多 新 的 火化 。 主 要 有 以 下 四 个 方 癌 。 
模糊 控制 与 智能 控制 的 结合 主要 应 用 在 模糊 PID 探 制 器 上 ， 这 种 
控制 右 主 要 钙 用 来 消除 误差 ， 增 加 稳 态 控制 性 能 ， 对 简单 的 线性 规划 
加 他 四 训 

@ 目 适应 模糊 控制 器 就 是 利用 自 适 应 控制 系统 的 理论 设计 的 控制 
器 ， 利 用 目 适 应 系统 在 外 部 环境 改变 的 情况 下 目 主 调制 控制 器 使 其 达 
到 最 优 或 者 次 优 效 果 的 特点 ， 改 变 控 制 规则 和 算法 。 


(3 模糊 控制 与 神经 网 络 技 术 的 结合 是 利用 人 工 神 经 网 络 来 模拟 人 
的 直观 思维 的 方式 ， 由 单个 简单 神经 元 组 成 的 复杂 神经 元 网 络 可 以 增 
加 控制 系统 的 目 主 学 习 能 力 、 表 达能 力 ， 通 过 多 层 映 射 和 神经 网 络 来 
实现 部 分 或 全 部 的 模糊 控制 和 推理 。 

出 专家 控制 与 模糊 控制 可 以 提高 智能 水 平 ， 利 用 专家 系统 方法 注 
重 知识 的 多 层次 和 分 类 这 一 特点 ， 欢 补 模糊 控制 规则 单一 的 缺点 ， 专 
家 系统 对 于 知识 的 组 织 和 表达 可 以 有 效 增加 模糊 系统 的 智能 程度 。 


器 
很 


(二 ) 模糊 系统 的 小 数据 特征 


模糊 理论 发 展 至 今 已 有 30 人 余年， 目前， 模糊 系统 在 理论 和 应 用 两 
方面 都 取得 了 长 足 的 进步 ， 为 包括 模糊 控制 在 内 的 先进 技术 提供 了 强 
有 力 的 理论 文 撑 。 模 糊 系统 理论 在 运筹 分 机 、 社 会 科学 、 模 糊 控 制 、 
人 工 智能 、 调 查分 析 、 计 划 、 评 价 等 领域 均 有 应 用 ， 应 用 范围 非常 广 
泛 ， 从 工程 科技 到 社会 人 文科 学 都 可 以 发 现 模糊 理论 研究 的 踩 迹 与 成 
果 。 下 面 我 们 分 别 从 工程 科技 与 社会 人 文科 学 的 角度 ， 了 人 解 模糊 理论 
应 用 的 范畴 。 


(1) 工程 科技 方面 


DD 型 样 识别 ， 文 字 识别 、 指 纹 识别 、 手 写字 体 辨识 、 影 像 辩 识 、 
语音 辨识 。 

@ 控 制 工程 ， 机 器 人 控制 、 汽 车 控制 、 家 电 控制 、 工 业 仪表 控 
制 、 电 力 控制 。 

回信 号 及 资讯 处 理 ， 影 像 处 理 、 语 音 处 理 、 资 料 整理 、 数 据 库 管 
理 。 

@ 人 工 智 能 及 专家 系统 ， 故 障 诊断 、 自 然 语 言 处 理 、 自 动 翻译 、 
地 震 预测 、 工 业 设计 。 

回环 保 :废水 处 理 、 净 水 处 理 厂 工程 、 空 气 污染 检验 、 空 气 品质 


监控 。 


(9 其 他 : 建筑 结构 分 析 、 化 工 制程 控制 。 
(2) 教育 、 社 会 及 人 文科 学 方面 
教育 : 教学 成 果 评 量 、 心 理 测验 、 人 性 向 测验 、 计 算 机 辅助 教 


学 
心理 学 心理 分 析 、 性 向 测验 。 

(3 决策 决定 :决策 支援 、 决 策 分 析 、 多 目标 评价 、 综 合 评价 、 风 
分 分 析 。 

模糊 系统 有 以 下 几 个 小 数据 特点 。 

(小 数据 的 规则 性 。 模 糊 控 制 是 有 规则 的 ， 这 个 规则 是 由 经 验 或 
者 知识 得 到 的 语言 控制 的 规则 。 虽 然 没有 精确 的 数学 模型 和 函数 ， 但 
征 这 种 规则 更 具有 实用 性 ， 在 使 用 的 过 程 中 会 更 加 简单 。 对 于 动态 的 
信息 ， 模 糊 系 统 更 容易 获取 有 关 的 信息 和 分 析 ， 对 于 精确 的 控制 来 
说 ， 捕 捉 动态 信息 并 利用 它们 是 很 难 的 ， 输 入 值 的 变化 会 让 系统 重新 
运行 一 次 设 定 的 函数 。 


忆 小 数据 的 最 优 法 则 。 我 们 经 常 提 到 最 优化 选择 ， 在 错综复杂 的 
条 件 之 间 选 择 最 优 解 可 以 减少 机 器 的 运行 。 模 糊 控 制 算 法 在 利用 规则 
间 的 模糊 链接 ， 更 容易 找到 这 种 最 优化 的 解 。 这 种 规则 有 利于 模仿 人 
工控 制 的 过 程 和 方法 ， 利 用 机 需 的 计算 可 以 比 人 工 考虑 更 多 的 变量 ， 
设计 更 准确 的 路 线 ， 伦 费 更 少 的 时 间 。 

GO 人 工 策略 的 小 数据 实现 。 尽 管 模糊 控制 不 能 自行 调节 算法 ， 但 
是 对 于 人 类 的 想法 ， 模 糊 控 制 可 以 更 好 地 实现 而 不 用 受制 于 传统 函数 
的 约束 ， 但 模糊 控制 也 存在 精度 不 高 的 问题 ， 对 于 一 些 变量 的 处 理 可 
能 并 不 精确 。 


(三 ) 模糊 系统 中 的 模糊 数据 需求 : 大 数据 与 小 
数据 


模糊 系统 的 数据 需求 目 然 是 模糊 需求 ， 如 采 数 据 需 求 是 确认 的 ， 
那么 模糊 系统 早 就 是 传统 行业 和 技术 了 。 数 据 本 喘 束 有 很 多 不 确定 性 
和 无 限 可 能 性 ， 模 糊 需 求 是 这 一 切 的 开始 ， 而 且 模 糊 的 程度 可 能 不 
同 ， 它 也 是 我 们 提 到 的 “大 数据 商业 模式 "和 “小 数据 价值 链 * 的 关键 因 
素 。 例 如 ， 初 级 模糊 需求 ， 我 们 要 提高 订单 转化 率 ， 如 何 分 析 、 建 议 
策略 、 测 试 运 宫 ? 而 高 级 模糊 需求 则 要 求 更 高 ， 例 如 ， 我 们 要 颠 履 现 
在 的 目 助 游 ， 该 给 用 户 什 么 样 的 产品 体验 ? 


这 束 古 复杂 系统 的 机 会 ， 因 为 对 于 直接 关联 性 ， 其 实 不 需要 “复杂 
系统 ” 束 可 以 有 部 分 成 果 了 。 例 如 ， 你 刚 在 网 购 平 台 上 浏览 了 一 件 衣 
服 ， 系 统 马 上 给 你 推荐 类 似 衣服 ， 总 有 一 定 转化 率 ， 如 果 复 杂 关 联 性 
的 旅游 ， 这 种 推荐 价值 号 小 多 了 。 有 用户 需要 什么 ? 不 需要 复杂 的 流 
程 ， 也 不 需要 人 花 过 多 时 间 研 究 别 人 的 攻略 (攻略 是 每 个 人 的 主观 感 
受 ， 有 片面 的 也 有 偏 移 的 ， 需 要 的 是 通过 模糊 的 需求 ， 让 大 数据 和 


小 数据 循序 渐进 欠 代 ， 帮 你 以 最 短 的 途径 找到 旅游 刚 需 、 内 心 庶 在 的 
需求 〈 行 、 住 是 刚 需 ， 吃 喝 玩 乐 需 要 挖掘 内 心 需求 ) 。 


(四 ) 智能 手套 : 小 数据 的 采集 


传 感 占 现在 已 经 被 我 们 大 量 运用 于 生活 中 。 手 机 可 以 记录 目 己 每 
天 走 的 步 数 ， 然 后 这 些 数据 传 入 微 信 中 ， 与 好 友 进 行 排名 。 可 罕 戴 设 
备 中 ， 可 以 记录 睡眠 时 间 、 运 动 方式 、 心 率 等 ， 还 有 感应 的 台灯 、 热 
敏感 应 絮 ， 这 些 传感器 ， 除 了 有 一 定 的 用 途 外 ， 还 记录 了 个 人 数据 ， 
这 些 传 感 如 的 应 用 有 时 候 让 我 们 觉得 很 神奇 。 


在 美国 ，Wii 游 戏 机 非 营 流行 ， 其 中 有 一 款 打 高 尔 夫 球 的 游戏 ， 对 
战 双方 通过 游戏 手柄 ， 感 应 肢体 的 实际 动作 ， 如 同 真 的 在 打 高 尔 夫 球 
一 样 (如 图 6-5 所 示 ) 。 机 器 对 于 动作 的 识别 、 力 度 的 大 小 、 方 向 的 转 
移 ， 甚 至 击 打动 作对 于 球体 的 旋转 部 有 不 同 的 有 反应， 让 人 在 对 游戏 慰 
琳 之 余 很 好 奇 机 器 识 别 动作 的 方法 ， 如 何 能 够 做 到 对 细微 的 调整 都 有 
感应 ? 


图 6-5 任天堂 发 布 Wii Sport 高 尔 夫 球 比赛 游戏 


智能 手套 便 是 利用 模糊 控制 ， 完 成 对 于 动作 的 捕捉 和 分 析 输 出 。 
除了 传感器 和 设 定 的 程序 外 ， 人 为 地 对 其 程序 进行 训练 和 记录 。 不 同 
动作 、 不 同 细节 的 输入 ， 让 系统 学 习 它 的 信义 ， 通 过 大 量 的 训练 ， 使 
智能 手套 控制 系统 能 够 解析 不 同 动作 细微 的 差别 ， 学 习 控 制 反 应 。 


日 本 富士 通 公 司 发 布 了 一 款 智 能 手套 (如 图 6-6 所 示 ) ， 是 手指 手 
套 的 样子 ， 这 种 手势 手套 嵌入 了 NEFC 技 术 ( 近 距 离 无 线 通信 技术 ) 和 
基于 手势 的 输入 控制 接口 ， 在 不 接触 的 情况 下 全 完 出 手指 手势 识别 拉 
术 ， 能 够 识别 模糊 的 动作 实现 多 任务 的 运行 。 据 悉 ， 这 种 识别 技术 主 
要 二 利用 胸部 的 育 屈 位 置 ， 这 时 手掌 完全 反 转 ， 这 是 大 家 在 日 闻 活 动 
中 不 常用 的 姿势 ， 所 以 它 能 够 很 好 地 识别 操作 手势 和 普通 手臂 运动 。 
此 外 ， 它 还 定义 了 很 多 基于 肩 部 的 手势 ， 以 此 作为 坐标 系统 的 中 心 。 
这 种 方式 很 好 地 适应 了 每 个 人 之 间 的 手势 变化 ， 也 允许 使 用 很 多 不 同 
的 姿势 进行 手势 输入 ， 且 操作 的 姿势 不 会 让 人 难堪 。 


图 6-6 智能 手套 恢复 训练 


这 种 智能 手套 可 以 通过 加 入 传感器 记录 个 体 的 操作 习惯， 通过 观 
察 和 学 习 个 体 的 差异 ， 了 解 每 个 人 的 操作 习惯 ， 进 而 能 够 更 好 地 掌握 
每 个 人 的 动作 力度 大 小 和 位 移 的 大 小 、 速 度 等 信息 ， 可 以 更 好 地 为 个 
人 提供 服务 。 


(五 ) 循 线 系统 : 小 数据 的 学 习 


让 机 器 人 行走 有 多 种 方式 ， 其 中 一 种 是 根据 地 上 的 标识 来 行走 ， 
以 移动 机 大 人 作为 载体 ， 使 用 红外 、 可 见 光 摄像 机 或 其 他 视觉 传 感 大 
来 完成 目 主 循 线 行走 路 线 。 在 空间 较 小 ， 地 面 障 碍 物 不 多 的 情况 下 ， 
循 线 机 器 人 可 以 很 好 地 完成 相应 路 径 的 行走 。 

在 制作 循 线 系统 (如 图 6-7 所 示 ) 训练 时 ， 我 们 通常 会 在 地 面 贴 上 
一 定 的 标识 ， 比 如 ， 与 地 面 颜 色相 差 较 大 的 线条 标识 。 我 们 布 望 机 器 
人 能 够 在 扫描 地 面 的 时 候 ， 自 主 地 识别 出 标识 。 比 如 ， 地 面 是 灰 日 
色 ， 那 么 我 们 可 以 选择 使 用 黑色 的 胶 市 作为 标识 ， 让 机 器 人 去 识别 。 
如 果 是 黑色 地 面 ， 我 们 可 以 选择 红色 或 者 其 他 对 比 鲜明 的 颜色 。 对 于 
这 样 的 机 器 人 ， 我 们 会 预先 设 定 程序 ， 然 后 对 其 进行 “教育 ?"。 由 于 干 
扰 项 的 数量 和 质量 可 以 充当 标识 ， 我 们 可 以 利用 模糊 系统 对 其 进行 设 
证 


图 6-7 循 线 系统 
假设 ,我们 现在 需要 利用 机 器 人 在 图 书馆 检索 图 书 ， 对 所 有 图 书 


分 区 域 进行 扫 揪 。 为 了 能 让 我 们 的 机 妖 人 按照 指定 路 线 完成 对 整个 图 
书馆 的 检索 ， 束 必须 让 其 拥有 沿 指定 路 线 行 走 和 简单 的 趋 避 障碍 物 能 
力 。 由 于 书架 之 间 的 距离 很 近 ， 图 书 绾 的 地 面相 对 平 请 工整 ， 我 们 在 
每 两 个 书架 中 间 贴 上 黑色 的 线 并 且 设 置 干 扰 项 ， 当 其 检测 到 干扰 项 的 
时 候 ， 会 利用 模糊 系统 对 干扰 项 进行 分 析 ， 最 后 输出 干扰 项 是 否 是 干 
扰 项 的 数据 ， 反 之 ， 当 检测 到 我 们 设置 的 标识 时 ， 机 器 人 模糊 系统 会 
进行 判断 ， 最 后 给 出 其 是 否 是 标识 的 判断 ， 从 而 癌 前 行进 。 通 过 一 定 
的 传 感 絮 探测 地 面色 调 迎 异 的 两 种 色彩 ， 从 而 获得 引导 线 位 置 ， 修 正 


机 人 严 人 运动 路 径 ， 感 知 导 引线 相当 于 给 机 器 人 一 个 视觉 功能 ， 当 遇 到 
障碍 物 的 时 候 ， 模 糊 挥 制 系统 会 对 其 进行 反馈 ， 从 而 实现 减速 、 转 癌 
等 一 系列 的 动作 。 

循 线 系统 让 机 侨 人 可 以 严格 遵循 我 们 制定 的 路 线 行进 ， 也 有 能 
趋 避 一 些 人 简单 的 障碍 物 ， 增 强 机 器 人 在 无 人 环境 下 工作 的 稳定 性 ， 使 
其 可 以 完成 检索 图 书馆 不 同 区 域 的 任务 。 


(六 ) 模糊 控制 : 小 数据 的 应 用 


越 来 越 个 性 化 的 家 电 让 我 们 在 使 用 的 过 程 中 方便 了 很 多 。 新 型 家 
电 拥有 很 多 令 人 导言 的 功能 ， 比 如 ， 可 以 利用 程序 和 Wi-Fi 对 它们 进行 
控制 。 上 班 前 ,我们 把 脏 衣 服 放 在 洗衣 机 里 ， 晚 上 下 班 前 ， 可 以 打开 
程序 ， 设 定 尝 衣 时 间 ， 然 后 回 到 家 ,刚好 可 以 晾 衣服， 或 者 可 以 运行 
程序 ， 清 洗 洗 衣 机 、 冰 箱 ， 甚 至 还 可 以 目 动 地 辨别 食物 的 腐 坏 。 当 食 
物 放 在 冰箱 中 的 时 间 过 长 ， 冰 箱 会 目 动 提醒 食物 已 经 过 期 。 通 过 对 冰 
箱 杀 菌 的 扫描 ， 可 以 找到 过 期 或 者 腐 坏 的 食品 ， 设 置 提醒 ， 让 主人 及 
时 地 扔 挥 腐 坏 食物 。 比 如 ， 把 榴 连 放 在 冰箱 中 ， 榴 连 的 气味 会 影响 冰 
箱 中 的 其 他 食物 ， 其 至 在 每 次 打开 冰箱 的 时 候 都 能 闻 到 ， 有 了 时 会 影响 
别人 的 生活 。 这 种 稼 能 冰箱 就 可 以 通过 除 味 系统 将 冰箱 的 味道 吸收 干 
净 ， 再 次 打开 冰箱 的 时 候 吏 不 用 担心 有 气味 而 不 敢 严 榴 连 吃 了 。 

除了 这 些 功 能 ， 还 有 模糊 控制 对 家 电 的 影响 。 洗 衣 机 有 不 同 的 档 
位 调节 ， 针 对 不 同 的 衣物 、 不 同 的 洗衣 时 间 需 求 和 供水 的 需求 等 ， 比 
如 ， 快 洗 程序 跟 常 规程 序 的 使 用 方法 惑 不 一 样 ， 可 以 同步 进行 床 洗 、 
脱水 、 甩 干 等 。 洗 衣 机 在 设 定 同一 程序 的 时 候 ， 也 会 有 衣物 多 少 不 同 
的 问题 。 模 糊 控 制 针 对 衣物 重量 、 材 质 对 洗衣 程序 进行 模糊 控制 ， 对 
少量 衣物 ， 用 少量 的 水 来 清洗 ， 对 大 量 衣 物 ， 使 用 大 量 的 水 来 洗涤 ; 
确定 不 同 的 水 位 高 低 、 时 间 长 短 。 相 对 传统 洗衣 机 无 论 重 量 多 少 、 数 


量 多 少 都 采取 同样 的 水 位 、 同 样 的 清洗 方式 来 说 ， 痢 型 洗衣 机 可 以 减 
少 对 衣物 的 磨损 、 缠 绕 和 资源 的 痕 费 。 


四 、 小 数据 创新 小 数据 系统 的 发 展 


(一 ) 小 数据 系统 与 小 数据 


(1) 小 数据 系统 简介 


小 数据 在 个 人 行为 分 析 中 有 许多 应 用 。 智 能 手机 收集 的 数据 对 于 
个 人 行为 分 析 非 常 有 用 ， 因 为 智能 手机 无 处 不 在 ， 人 们 去 哪里 都 会 扒 
带 智能 手机 。 截 至 2016 年 ， 美 国有 72% 的 人 口 拥有 智能 手机 。 同 时， 
随 着 手机 上 传感器 的 应 用 ， 我 们 日 常生 活 的 行为 活动 都 能 够 被 口袋 中 
的 智能 手机 记录 ， 比 如 ， 步 行 、 跑 步 、 骑 行 以 及 GPS (全 球 定位 系 
统 ) 与 导航 功能 。 智 能 手机 同时 还 具有 回顾 性 自我 报告 的 自我 监控 方 
法 ， 人 们 在 准确 回忆 先前 事件 时 容易 出 现 错误 和 偏见 ， 而 智能 手机 具 
有 在 日 常生 活 中 更 接近 实时 参与 者 支持 活动 数据 捕获 的 优势 。 智 能 手 
机 数据 能 够 用 来 实施 慢性 病 预防 和 管理 、 自 由 行为 研究 以 及 自我 管 
理 。 一 些 慢性 疾病 ， 如 糖尿 病 、 哮 跨 或 者 肥胖 ， 发 现 和 治疗 过 程 大 多 
发 生 在 患者 日 常生 活 中 ， 而 不 是 临床 环境 中 。 所 以 在 过 去 几 年 ， 许 多 
智能 手机 应 用 程序 能 够 收集 并 共享 患者 的 相关 健康 数据 以 便 更 快速 地 
使 患者 得 到 最 佳 治疗 。 风 湿 病 的 治疗 可 以 通过 智能 手机 对 患者 病情 活 
动 的 监测 给 医生 提供 实时 信息 ， 同 时 收集 相关 患者 日 常 移动 指数 〈 活 
动情 况 如 步行 时 间 、 步 行 速度 、 步 行距 离 等 ) ， 通 过 加 权 平 均值 进行 
反馈 ， 心 血管 疾病 的 治疗 可 以 根据 智能 手机 对 于 患者 饮食 与 体重 的 监 
测 提供 反馈 意见 。 除 了 对 慢性 疾病 的 监测 ， 智 能 手机 数据 还 可 以 为 人 
们 提供 自我 管理 的 机 会 ， 通 过 数据 收集 和 个 性 化 反馈 ， 帮 助 用 户 了 解 
目 身 的 健康 状况 ， 或 励 用 户 选 择 健康 的 生活 方式 。 


小 数据 系统 指 的 是 为 个 人 定制 的 、 更 直接 和 亲自 收集 小 数据 而 设 
计 的 服务 和 工具 。 小 数据 系统 通过 重组 多 样 化 、 跨 渠道 的 信息 ， 创 建 
了 一 个 更 一 致 、 更 具有 可 操作 性 的 数据 收集 系统 ， 用 于 改善 我 们 的 健 
康 、 生 产 力 等 ， 我 们 通过 网 络 来 接受 这 种 服务 。 这 与 传统 的 以 提供 者 
为 中 心 的 服务 不 同 ， 服 务 只 关注 并 访问 在 其 平台 内 发 生 的 行为 的 局 部 
视图 。 


(2) 小 数据 系统 进展 


生命 流 系 统 (Lifestreams) 是 加 州 大 学 科研 团队 建立 的 一 种 用 于 
小 数据 行为 分 析 的 模块 化 数据 分 析 工 具 集 ， 主 要 包括 设计 技术 挑战 、 
设计 原则 以 及 四 个 软件 模块 (特征 提取 、 特 征 选择 、 率 合 推 理 和 可 视 
化 管理 ) 。 


QD 设计 技术 挑战 包括 了 智能 手机 数据 转换 和 减少 信息 过 载 。 手 机 
传感器 的 原始 数据 并 不 能 直接 用 于 分 析 ， 因 此 需要 特定 的 数据 转换 技 
术 来 提取 与 这 些 数据 相关 的 程序 特征 。 例 如 ， 由 一 系列 GPS 坐 标 和 Wi- 
Fi 信号 组 成 的 原始 位 置 数据 与 行为 分 析 几 乎 无 关 ; 使 用 智能 手机 数据 
进行 行为 分 析 的 前 提 是 我 们 可 以 从 这 些 数据 中 发 现 问题 ， 根 据 数据 从 
而 改善 护理 人 员 的 决策 。 不 笠 的 是 ， 护 理 人 员 已 经 处 于 信息 超载 的 边 
缘 ， 平 均一 个 初级 保健 医师 每 周 可 能 会 收 到 1 000 份 测 斌 结果， 所 以 要 
求 我 们 提供 的 数据 能 够 有 临床 相关 性 ， 通 过 多 次 研究 来 确定 真正 有 用 
的 数据 ， 以 减少 护理 人 员 的 工作 量 。 

在 实验 中 ， 团 队 用 推理 方法 对 一 个 数据 集 提 出 了 三 组 分 析 结果 ， 
以 帮助 理解 一 个 真实 的 行为 研究 数据 集 。 此 数据 集 为 年 轻 妈 妈 的 饮 
食 、 压 力 和 运动 。 通 过 2012 年 1 月 一 2013 年 3 月 对 56 名 居住 在 洛杉矶 地 
区 的 年 轻 妈 妈 进 行 研究 。 共 有 54 名 妈妈 完成 了 研究 任务 ， 其 中 44 名 妈 
妈 使 用 了 知 能 手机 收集 数据 ， 她 们 肤色 各 异 ， 年 龄 在 18~40 穴 之 间 ，15 
名 妈妈 全 职工 作 ，24 名 兼职 ，17 名 在 家 工作 。 参 与 者 可 以 选择 打开 或 
关闭 移动 数据 收集 。 从 44 名 妈妈 那里 收集 了 3 834 天 的 行动 数据 ， 最 少 


5 次 ， 最 多 202 次 ， 平 均 87 次 。 由 于 所 有 妈妈 的 整个 学 习 日 数 为 7 272 
天 ， 参 与 者 平均 在 学 习 期 间 的 一 半 时 间 内 提供 了 移动 数据 。 除 了 进行 
数据 收集 ， 还 进行 了 15 599 份 问题 调查 。 


@Lifestreams 运 用 了 相关 的 推理 方法 进行 分 析 ， 如 ， 个 体 三 维 相 
天 和 矩阵、 单 功能 变化 监测 、 成 对 相关 变化 检测 等 。 这 些 推 理 方法 确定 
了 重要 的 行为 趋势 和 模式 ， 并 且 在 与 参与 者 进行 的 后 续 访 谈 中 对 其 准 
确 性 进行 了 定性 验证 。 

G@) 此 外 ，Lifestreams 被 发 现 有 助 于 协调 研究 员 快 速 浏览 数据 并 提 
供 视 觉 辅助 工具 ， 以 便 在 面试 会 议 期 间 同 与 会 者 介绍 讨论 。 
Lifestreams 被 设计 为 可 扩展 的 系统 ， 可 以 被 广泛 应 用 到 包含 不 同 数据 
流 的 不 同 研究 中 。 我 们 通过 将 Lifestreams 扩 展 性 应 用 于 具有 独特 需求 
和 新 类 型 数据 流 的 两 项 额外 人 研究 来 评估 Lifestreams 的 可 扩展 性 。 最 
终 ， 人 研究 人 员 将 开发 可 大 大 提高 以 患者 为 护理 中 心 的 个 性 化 和 精确 性 
的 干预 措施 。 


(3) 小 数据 系统 的 挑战 


开发 和 维护 现实 世界 的 小 型 数据 系统 也 面临 许多 需要 解决 的 系统 
挑战 。 小 数据 是 我 们 与 周围 世界 互动 的 存储 的 “数字 痕迹 ”。 当 我 们 使 
用 维护 日 志 的 工具 和 服务 时 ， 这 些 跟 路 被动 产生 : 信用 卡 、 杂 货 收 
据 、 网 站 和 其 他 流 媒 体内 容 服 务 ， 浏 览 絮 本 里 等 。 小 数据 的 系统 挑战 
主要 为 : 数据 互 操作 性 。 人 小 数据 系统 的 力量 往往 来 目 将 个 人 用 户 最 初 
锁定 在 不 同 数据 库 中 的 多 种 信息 相 结合 的 能 力 。 这 些 数据 来 目 不 同 的 
服务 提供 商 ， 通 常 具有 不 同 的 模式 和 格式 。 大 量 开发 工作 用 于 与 大 量 
外 部 服务 进行 接口 ， 转 换 不 同 的 数据 格式 并 保持 不 同 数 据 模式 的 一 臻 
性 ， 并 且 通 常会 导致 过 度 复杂 的 应 用 程序 逻辑 。 在 数据 管理 与 安全 
上 ， 人 小 数据 系统 与 许多 在 线 系统 不 同 ， 因 为 它们 消耗 的 大 部 分 数据 不 
是 本 地 生成 的 ， 而 是 来 自 各 种 外 部 来 源 。 大 多 数 原始 来 源 (例如 
Google、Facebook 等 ) 将 用 户 数据 持久 保存 在 自己 的 数据 库 中 ， 并 分 


别提 供 安 全 和 访问 控制 。 解 决 存储 效率 、 数 据 安全 性 和 可 用 性 之 则 的 
紧张 天 系 是 小 数据 应 用 开发 人 员 面 临 的 男 一 个 挑战 。 


针对 这 些 限制 ，Lifestreams 进 行 了 几 项 改进 ， 提 出 了 Lifestreams 
DB。 其 中 运用 的 策略 有 ， 与 RDF 项 目 集成 ， 通 过 几 个 轴 专 门 扩展 小 数 
据 架 构 和 Lifestreams DB， 和 硕 望 与 更 多 分 布 式 /用 户 控制 的 号 份 验 证 形 
式 (如 WebID) 进行 整合 ， 这 将 使 我 们 能 够 与 数据 提供 者 所 使 用 的 号 
份 脱离 联系 。 提 高 安全 性 和 加 强 保护 隐私 ， 在 相关 说 明 中 ， 可 以 做 出 
许多 改进 ， 以 确保 处 理 后 的 数据 不 会 损害 原始 数据 源 ， 并 且 在 敏感 的 
情况 下 选择 性 地 控制 哪些 人 可 以 使 用 已 处 理 的 数据 。 提 出 了 “功能 信息 
共享 ”的 共享 数据 方法 ， 希 望 通过 诸如 可 信 平 台 模 块 (TPM) 等 硬件 工 
具 ， 使 用 公开 密 钥 认证 的 系统 之 间 的 喘 份 验证 ， 以 及 详细 说 明 数 据 如 
何 与 撤销 机 制 一 起 使 用 的 细 粒 度 安全 策略 来 实现 此 目标 。 支 持 小 数据 
生态 系统 ， 通 过 继续 实施 小 数据 系统 ， 持 续 人 研究 有 效 和 安全 的 手段 来 
处 理 和 分 侍 小 数据 ， 并 提供 参考 实施 /基础 设施 组 件 来 支持 发 展 ， 促 进 
小 数据 生态 系统 的 发 展 。 


(二 ) 小 数据 系统 的 小 数据 特征 


Lifestreams 团 队 提 出 了 一 个 新 的 以 用 户 为 中 心 的 推荐 模式 ， 称 为 
沉浸 式 建 议 。 利 用 个 人 用 户 的 跨 平 台 小 数据 提出 建议 ， 满 足 用 户 的 多 
样 化 需求 和 兴趣 ， 目 标 是 使 用 小 数据 创建 未 来 超人 性 化 的 内 容 、 娱 乐 
和 工具 ， 使 每 个 人 都 能 有 选择 地 从 这 些 生成 的 透明 数据 中 受益 。 沉 浸 
式 建议 是 以 用 户 为 中 心 的 推荐 模式 ， 其 中 推荐 系统 通过 用 户 自己 访问 
不 同 平台 上 你 存 的 广泛 用 户 的 小 数据 ， 并 创建 单一 服务 提供 两 可 能 
法 使 用 的 用 户 偏好 的 综合 视图 捕捉 。 这 与 传统 的 以 供应 两 为 中 心 的 模 
式 相 反 ， 例 如 ， 我 们 在 亚马逊 或 Netflix ( 奈 飞 公司 ) 上 看 到 的 建议 中 
只 有 这 些 平 台 上 的 通道 内 踩 迹 用 于 提出 建议 。 


沉浸 式 建 议 同样 有 诸多 技术 挑战 。 第 一 ， 非 结构 化 多 样 小 数据 的 
分 析 。 以 前 ， 推 荐 系统 中 大 多 数 的 工作 仪 考虑 了 有 关 用 户 的 简单 人 口 
统计 信息 。 相 比 之 下 ， 身 临 其 境 的 建议 使 用 非 结 构 化 、 动 态 和 高 维 数 
字 痕 迹 ， 例 如 ， 社 交 媒 体 记 录 和 用 户 生 成 的 个 人 通信 跟踪 ， 以 实现 高 
度 个 性 化 的 推荐 。 如 何 去 除 小 数据 并 将 其 转化 为 可 用 于 推荐 系统 的 有 
用 的 用 户 配 置 文件 ， 这 是 沉浸 式 推荐 的 主要 挑战 。 第 二 ， 根 据 沉浸 式 
用 户 个 人 资料 提出 建议 。 构 建 实用 的 沉浸 式 推 荐 系统 需要 新 颖 的 建议 
模型 来 结合 广泛 的 信息 ， 包 括 : (从 用 户 的 小 数据 中 提取 的 沉浸 式 用 
户 简 档 ; @@ 用 户 对 项 目的 反馈 ， 如 评级 和 点 击 量 ;，(3) 项 目 信 息 。 如 何 
融合 这 些 不 同 的 信息 线索 ， 为 用 户 提 供 个 性 化 的 建议 一 一 即使 他 们 刚 
刚 开 始 使 用 系统 一 一 并 且 在 有 更 多 用 户 反 馈 的 情况 下 快速 调整 建议 将 
是 我 们 在 沉浸 式 建议 中 需要 解决 的 重大 技术 问题 。 

Lifestreams 软 件 主要 的 创新 点 为 : 中 提出 了 沉浸 式 建议 ， 一 种 以 
用 户 为 中 心 的 新 推荐 模式 ， 利 用 用 户 多 样 化 的 个 人 数字 妃 踪 ， 为 用 户 
提供 建议 ，@ 提 出 了 一 种 新 颖 的 算法 ， 混 合 协 同 过 滤 算 法 ， 它 同时 利 
用 多 样 性 的 小 数据 推 朵 用 户 的 兴趣 ， 抑 制 不 同上 下 文 引 入 的 噪声 ;四 
提出 了 一 种 新 颖 的 推荐 模式 一 一 协同 用 户 项 回归 ， 仔 细 融 合用 户 项 目 
简介 和 评级 信息 ， 以 达到 超越 最 先进 的 推荐 准确 度 ， 还 可 以 为 新 用 户 
提供 建议 并 快速 微调 根据 用 户 反 馈 的 建议 ;外 进行 了 大 规模 的 离线 评 
估 ， 人 小 型 用 户 研究 和 现实 服务 部 署 ， 以 探索 这 一 新 推荐 模型 在 两 个 天 
键 应 用 领域 的 可 行 性 和 有 效 性 。 


(三 ) 分 布 式 云 计 算 和 小 系统 大 平台 : 大 数据 与 
小 数据 


云 计算 (Cloud Computing) 是 基于 互联 网 的 相关 服务 的 增加 、 使 
用 和 交付 模式 ， 通 常 通过 互联 网 来 提供 动态 易 扩 展 ， 且 经 常 是 虚拟 化 
的 资源 。“ 云 ”是 网 络 、 互 联网 的 一 种 比喻 说 法 。 过 去 在 图 中 往往 用 云 


来 表示 电信 网 ， 后 来 也 用 来 表示 抽象 的 互联 网 和 底层 基础 设施 。 
此 ， 云 计算 甚至 可 以 让 你 体验 每 秒 10 万 亿 次 的 运算 能 力 ， 拥 有 这 么 强 
大 的 计算 能 力 可 以 模拟 核 爆 炸 、 预 测 气 候 变 化 和 市 场 发 展 趋势 。 用 户 
通过 计算 机 、 笔 记 本 电脑 、 手 机 等 方式 接 入 数据 中 心 ， 按 自己 的 需求 
进行 运算 。 

对 云 计算 的 定义 至 少 可 以 找到 100 种 解释 。 现 阶段 广 为 采 用 的 是 美 
国 国 家 标准 与 技术 研究 院 (NIST) 的 定义 : 云 计算 是 一 种 按 使 用 量 付 
费 的 模式 ， 这 种 模式 提供 可 用 的 、 便 捷 的 、 按 需 的 网 络 访问 ， 进 入 可 
配置 的 计算 资源 共享 池 (资源 包括 网 络 、 服 务 器 、 存 储 、 应 用 软件 、 
服务 ) ， 这 些 资源 能 够 被 快速 提供 ， 只 需要 投入 很 少 的 管理 工作 ， 或 
与 服务 供应 商 进行 很 少 的 交互 。 

分 布 式 系 统 (Distributed System) 是 建立 在 网 络 之 上 的 软件 系 
统 。 正 是 因为 软件 的 特性 ， 所 以 分 布 式 系统 具有 高 度 的 内 聚 性 和 透明 
性 。 因 此 ， 网 络 和 分 布 式 系统 之 间 的 区 别 更 多 的 在 高 层 软件 (特别 是 
操作 系统 ) ， 而 不 是 硬件 。 内 聚 性 是 指 每 一 个 数据 库 分 布 节点 高 度 自 
治 ， 有 本 地 的 数据 库 管 理 系统 。 透 明 性 是 指 每 一 个 数据 库 分 布 节 点 对 
用 户 的 应 用 来 说 都 是 透明 的 ， 看 不 出 是 本 地 还 是 远程 。 在 分 布 式 数据 
库 系 统 中 ， 用 户 感觉 不 到 数据 是 分 布 的 ， 即 用 户 不 需要 知道 关系 是 否 
分 割 、 有 无 副本 、 数 据 存 于 哪个 站 点 以 及 事务 在 哪个 站 点 上 执行 等 。 


全 球 数 据 中 心平 台 与 生态 系统 逐渐 匹配 ， 互 联 乎 台 为 实现 面 癌 互 
联 的 体系 结构 提供 关键 的 构建 模块 ， 并 且 重 新 定义 数据 中 心 角色 的 天 
键 技术 也 日 趋 成 熟 。 随 着 移 动 互联 网 、 移 动 终 问 和 数据 感应 絮 的 出 
现 ， 数 据 以 超出 人 们 想象 的 速度 在 快速 增长 。 近 年 来 ， 在 互联 网 时 代 
与 宽 市 提速 这 一 趋势 下 ， 国 内 数据 量 正 不 断 增 多 ， 我 国 网 民 与 互联 网 
普及 率 不 断 提 高 ， 数 字 存 储 信 息 呈 现 快速 提升 的 态势 ， 大 数据 应 用 成 
为 企业 掘 金 的 新 方向 ， 除 了 企业 数据 以 外 ， 人 们 开始 关注 个 人 小 数 
据 ， 以 及 与 之 相关 的 独立 主权 、 数 据 永生 。 由 此 带 来 的 无 限 商 机 ， 将 
引发 个 人 小 数据 红利 爆发 ， 开 局 个 人 数据 中 心 新 时 代 。 


现在 的 时 代 是 数据 由 各 种 前 台 终 端 收集 ， 通 过 宽 市 网 络 ， 连 接 到 
后 台 的 云端 进行 处 理 ， 最 终 存储 到 由 各 种 机 构 所 拥有 的 数据 中 心里 。 
从 数据 中 心 到 云 计算 到 大 数据 ， 最 后 到 人 工 和 六 能 ， 一 脉 相 承 。 未 来 云 
计算 的 发 展 趋势 包括 ， 全 球 化 基础 设施 扩张 加 速 ， 大 型 企业 拥抱 云 计 
算 ， 混 合 IT 架构 发 展 和 物 联 网 (IoT) 爆发 。 相 应 大 数据 的 发 展 趋势 包 
括 : 数据 总 量 呈 指 数 型 爆炸 性 增长 ， 数 据 的 结构 发 生 了 巨大 变化 ， 数 
据 的 组 织 也 发 生 了 巨大 的 变化 。 人 类 的 智能 包含 感知 和 认 知 两 大 方 
面 ， 人 工 智能 将 随 厦 更 多 的 数据 、 强 大 的 运算 能 力 和 深度 学 习 而 加 速 
突破 ， 每 一 个 商业 应 用 都 会 被 新 人 工 智 能 所 站 柳 。 正 如 《人 类 傈 史 》 
《未 来 伽 史 》 中 所 指出 的 那样 : 认 知 是 人 类 前 进 的 唯一 武器 ， 数 据 时 
代 和 人 工 智能 是 智 人 未 来 演化 的 大 方向 。 从 猴 人 到 知人， 再 从 知人 到 
神 人 ， 人 类 二 想象 力 的 共同 体 ， 并 产生 了 这 个 时 代 的 “资本 一 一 信 
思 。 大 数据 时 代 的 到 来 ， 分 吾 与 体验 是 未 来 的 主体 ， 并 逐 关 朝 着 人 工 
智能 这 个 方 癌 演化。 


(四 ) 大 数据 运算 的 分 布 式 系统 : 以 小 总 多 


在 云 计算 环境 下 ， 软 件 技术 、 架 构 将 发 生 显著 变化 。 一 是 所 开发 
的 软件 必须 与 云 相 适应 ， 能 够 与 以 虚拟 化 为 核心 的 云 平 台 有 机 结合 ， 
适应 运算 能 力 、 存 储 能 力 的 动态 变化 ， 二 是 要 能 够 满足 大 量 用 户 的 使 
用 ， 包 括 数据 存储 结构 、 处 理 能 力 ; 三 是 要 互联 网 化 ， 基 于 互联 网 扣 
供 软件 的 应 用 ; 四 是 安全 性 有 要求 更 局， 可 以 抗 攻击 ， 并 能 保护 私有 信 
思 ; 五 是 可 工作 于 移动 终端 、 手 机 、 网 络 计算 机 等 各 种 环境 。 


在 云 计 算 环 境 下 ， 软 件 开 发 的 环境 、 工 作 模 式 也 将 发 生变 化 。 虽 
然 传统 的 软件 工程 理论 不 会 发 生根 本 性 的 变 早 ， 但 基于 云 平台 的 开发 
工具 、 开 发 环境 、 开 发 平台 将 为 敏捷 开发 、 项 目 组 内 协同 、 异 地 开发 
等 带 来 便利 。 软 件 开发 项 目 组 内 可 以 利用 云 平台 ， 实 现在 线 开 发 ， 并 
通过 云 实现 知识 积 索 、 软 件 复 用 。 


在 云 计算 环境 下 ， 软 件 产 品 的 最 终 表 现形 式 更 为 丰富 多 样 。 在 云 
平台 上 ， 软 件 可 以 是 一 种 服务 ， 如 SAAS (软件 即 服务 ) ， 可 以 是 一 个 
Web Services 《网 络 服务 )  ， 也 可 以 是 在 线 下 载 的 应 用 ， 如 苹果 的 在 线 
商店 中 的 应 用 软件 等 。 


在 云 计算 环境 下 ， 为 了 适应 大 数据 运算 的 需要 ， 我 们 需要 把 系统 
进行 分 布 式 部 署 。 分 布 式 系 统 义 称 为 分 布 式 计算 机 系统 ， 它 十 指 将 多 
台 小 型 微型 机 互联 组 成 的 一 种 新 型 计算 机 系统 。 它 突破 了 传统 的 集中 
式 单 机 局 面 ， 从 分 散 处 理 的 概念 出 发 来 组 织 计 算 机 系统 ， 具 有 较 高 的 
性 价 比 ， 有 灵活 的 系统 可 扩充 性 ， 展 好 的 实时 性 、 可 靠 性 与 容错 性 等 洪 
在 优点 ， 是 近 几 年 来 计算 机 科学 技术 领域 中 极 受 重视 的 新 型 计算 机 系 
统 ， 现 已 成 为 迅速 发 展 的 一 个 新 方 同 。 


分 布 式 系统 无 主 从 区 分 ， 计 算 机 之 间 交 换 信息 、 资 源 共享 、 相 互 
协作 完成 一 个 共同 任务 。 通 过 多 路 传输 数据 点 线 ， 将 主机 和 若干 台 外 
围 处 理 机 连 成 一 个 整体 ， 共 同 担负 整个 计算 切 能 的 系统 。 主 机 专门 从 
事 计 算 量 大 的 数值 计算 ， 外 围 处 理 机 则 承担 系统 的 控制 操作 。 其 优点 
是 ;加快 了 机 器 的 运算 速度 ， 简 化 了 主机 的 逻辑 结构 ， 使 操作 系统 在 
一 定 程度 上 得 到 了 优化 。 故 现代 大 型 武器 系统 的 设计 ， 常 采用 分 布 式 
计算 机 系统 。 

分 布 式 系统 的 主要 切 能 包括 以 下 几 个 方面 。@D 通 信 结 构 是 指 支持 
各 个 计算 机 联网 ， 以 提供 分 布 式 应 用 的 软件 。 在 分 布 式 系统 中 ， 尽 管 
每 台 计 算 机 都 有 自己 独立 的 操作 系统 ， 并 且 这 些 计算 机 和 操作 系统 的 
种 类 又 可 以 是 不 同 的 ， 但 是 它们 都 支持 同样 的 通信 结构 。@@ 提 供 网 络 
服务 功能 ， 分 布 式 系统 的 硬件 环境 是 计算 机 网 络 ， 系 统 中 的 个 人 计算 
机 可 以 是 单 用 户 工作 站 或 服务 器 ， 因 此 它 需要 由 网 络 操 作 系统 进行 管 
理 并 提供 网 络 服务 功能 。@ 分 布 式 操作 系统 (透明 性 ) ， 有 一 个 公共 
的 分 布 式 操作 系统 ， 各 计算 机 共享 一 个 公共 的 分 布 式 操作 系统 。 分 布 
式 操作 系统 由 内 核 以 及 提供 各 种 系统 功能 的 模块 和 进程 组 成 。 系 统 


的 每 一 台 计 算 机 都 必须 保存 分 布 式 操作 系统 的 内 核 ， 以 实现 对 计算 机 
系统 的 基本 控制 。 


分 布 式 操作 系统 除了 包括 单机 操作 系统 的 主要 功能 外 ， 还 应 该 包 
括 分 布 式 进程 通信 、 分 布 式 文件 系统 、 分 布 式 进程 迁移 、 分 布 式 进程 
同步 和 分 布 式 进程 死 锁 等 功能 。 

分 布 式 进程 通信 。 分 布 式 系统 的 进程 通信 是 由 分 布 式 操作 系统 所 
提供 的 一 些 通信 原 语 来 实现 的 。 但 由 于 分 布 式 系统 中 没有 共享 内 存 ， 
这 些 原 语 需 要 按照 通信 协议 的 约定 和 规则 来 实现 。 与 分 布 式 进 程 通信 
有 关 的 主要 概念 包括 : 通信 协议 ， 分 布 式 环境 中 的 客户 /服务 器 工作 模 
式 ， 进 程 通信 的 消息 传递 方法 和 远程 过 程 调用 方法 。 

分 布 式 文件 系统 。 分 布 式 文件 系统 是 允许 通过 网 络 来 互联 并 使 不 
同 机 器 上 的 用 户 共享 文件 的 系统 。 它 能 够 让 运行 它 的 所 有 主机 共享 
并 可 以 管理 操作 系统 内 核 和 文件 系统 之 间 的 通信 。 

分 布 式 进程 迁移 。 分 布 式 进程 迁移 是 指 由 进程 原来 运行 的 机 器 
( 称 为 原 机 器 ) 向 目标 机 器 (准备 迁 往 的 机 器 ) 传送 足够 数量 的 有 关 
进程 状态 的 信息 ， 使 该 进程 能 在 另 一 机 器 上 运行 。 

分 布 式 进程 同步 。 在 分 布 式 系统 中 ， 各 处 理 机 没有 共享 内 存 和 统 
一 的 时 钟 ， 因 此 分 布 式 进程 同步 必须 对 不 同 处 理 机 中 所 发 生 的 事件 进 
行 排序 ， 还 应 该 配 有 性 能 较 好 的 分 布 式 同步 算法 ， 以 保证 为 实现 进程 
同步 所 付出 的 开销 较 小 。 

分 布 式 进程 死 锁 。 在 分 布 式 系统 中 ， 也 可 能 会 因 进 程 竞争 资源 而 
引起 死 锁 。 对 单 处 理 机 系统 中 讨论 过 的 死 锁 对 策 只 要 稍 加 修改 ， 就 可 
用 于 多 处 理 机 系统 。 例 如 ， 只 要 在 系统 事件 之 间 简 单 地 定义 一 个 全 
序 ， 有 序 资 源 分 配 死 锁 预防 技术 就 可 用 于 分 布 式 系统 。 


(五 ) 大 数据 时 代 的 小 数据 中 心 : 以 小 见 大 


网 络 空间 的 发 展 ， 即 将 迎 来 个 人 数据 中 心 小 数据 中 心 ) 的 新 时 
代 。1998 年 ， 福 利 分 房 转变 为 个 人 购房 ， 成 为 中 国 个 人 房地产 发 展 的 
元 年 ， 而 2018 年 是 个 人 数据 中 心 的 元 年 ， 痢 一 轮 大 规模 的 数据 中 心 产 
业 化 急 潮 即 将 到 来 ! 一 半 是 人 、 一 半 是 机 硕 的 “ 半 机 器 人 ”并 不 遥远 ， 
未 来 网 络 空间 基础 设施 面临 重组 ! 依据 《中 华人 民 共 和 国民 法 总 则 》 
条 款 中 的 “个 人 信息 权 是 公民 的 基本 民事 权利 ”， 在 大 数据 聚合 时 代 
下 ， 个 人 有 需求 并 有 权利 通过 个 人 数据 中 心 去 连接 各 种 应 用 与 服务 、 
数据 计算 并 存储 在 个 人 数据 中 心中 ， 以 防止 被 他 人 收集 、 使 用 、 加 工 
和 传输 。 相 应 地 ， 对 个 人 数据 中 心 的 技术 和 商务 要 求 将 包括 : 数据 的 
私密 性 、 数 据 的 安全 性 、 数 据 的 永生 性 ， 及 数据 的 不 可 被 利用 和 不 可 
算 改 性 。 未 来 ， 每 个 人 都 将 有 属于 目 己 的 个 人 数据 中 心 ， 可 在 其 中 进 
行 数据 运算 形成 个 人 所 需 的 结果 ， 个 人 数据 与 其 他 应 用 和 服务 之 间 联 
结 ， 与 家 人 、 朋 友 以 及 同事 进行 共 诗 。 基 于 个 人 的 大 数据 和 人 工 乔 
能 ， 必 将 引出 个 人 生命 导师 (通过 个 人 小 数据 实现 的 针对 个 人 订 制 的 
建议 和 借鉴 ) ， 以 及 为 个 人 小 数据 、 个 人 数据 中 心 、 个 人 人 工 智能 和 
个 人 生命 导师 而 衍生 制订 的 各 种 服务 和 应 用 。 


一 、 人 小 数据 的 现象 本 质 


现象 和 本 质 是 揭示 客观 事物 的 外 在 联系 和 内 在 联系 相互 关系 的 一 
对 范畴 。 现 象 是 事物 的 外 部 联系 和 表现 特征 。 现 象 中 分 真相 和 假象 ， 
真相 是 从 正面 表现 本 质 的 现象 ， 假 象 是 从 反面 至 曲 表现 本 质 的 现象 。 
本 质 是 事物 的 根本 性 质 ， 是 组 成 事物 基本 要 妈 的 内 在 联系 。 


(1) 现象 和 本 质 的 辩证 关系 


(现象 和 本 质 是 对 立 的 。 现 象 和 本 质 有 明显 的 差别 。 现 象 是 事物 
的 外 在 方面 ， 是 表面 的 、 多 变 的 、 丰 富 多 彩 的 ;本 质 是 事物 的 内 在 方 
面 ， 古 深 城 的、 相对 稳定 的 、 比 较 深 刻 、 单 纯 的 。 因 而 现象 是 可 以 直 
接 认 识 的 ， 本 质 则 只 能 间接 地 被 认识 。 

人 现象 和 本 质 是 统一 的 。 一 方面 两 者 是 相互 依存 的 。 现 象 是 本 质 
的 现 乏 ， 本 质 是 现象 的 本 质 。 也 融和 是 说 ， 本 质 只 能 通过 现象 表现 出 
来 ， 现 象 只 能 是 本 质 的 显现 ， 它 们 之 间 是 表现 和 被 表现 的 天 系 。 任 何 
一 方 离开 了 另 一 方 都 是 不 能 存在 的 ， 实 际 的 存在 总 是 现象 与 本 质 的 对 
立 统一 。 鸡 一 方面 两 者 是 相互 级 舍 的 ， 实 际 上 也 是 相互 包含 的 。 本 质 
匈 于 现象 之 中 ， 这 有 是 非常 明显 的 ， 因 为 现象 是 整体 ， 本 质 是 现象 的 一 
部 分 ， 固 然 是 根本 性 的 部 分 。 反 过 来 ， 本 质 也 包含 现象 ， 因 为 现象 尽 
苹 多 种 多 样 的 、 纷 繁复 洒 的 ， 但 毕 疯 是 由 本 质 决 定 的 ， 早 已 潜在 地 
含 于 本 质 之 中 。 

(3 现象 与 本 质 是 可 以 相互 转化 的 。 本 质变 现象 应 理解 为 本 质 表 现 
为 现象 。 某 一 具体 的 人 无 疑 是 本 质 与 现象 的 统一 体 ， 但 其 本 质 也 在 不 
断 地 表现 出 来 ， 即 不 断 转变 为 现象 。 现 象 与 本 质 的 相互 转化 ， 正 是 感 
性 认识 与 理性 认识 相互 转化 的 客观 基础 。 


(2) 现象 和 本 质 辩 证 关系 原理 的 意义 


(现象 和 本 质 的 对 立 ， 说 明了 科学 研究 的 必要 性 ， 现象 和 本 质 的 
统一 ， 决 是 了 科学 人 研究 的 可 能 性 。 科 学 人 研究 的 任务 束 是 透 过 现象 看 本 
质 。 人 们 只 有 通过 对 大 量 现 象 的 研究 ， 才 能 发 现 事物 的 本 质 ， 达 到 科 
学 的 认识 。 如 果 二 者 只 有 对 立 而 无 统一 ， 那 么 一 切 科学 研究 、 科 学 认 
识 束 是 徒劳 无 益 、 日 费力 气 了 。 

在 实践 中 要 注意 把 现象 作为 入 门 的 向 导 ， 通 过 现象 去 认识 事物 
的 本 质 。 从 现象 进入 本 质 是 认识 的 深化 ， 却 不 是 认识 的 终止 。 由 现象 
进入 本 质 ， 在 一 定 程度 上 认识 到 了 事物 的 规律 性 以 后 ， 还 必须 在 这 种 
认识 的 指导 下 ， 继 续 地 人 研 完 尚未 研究 过 或 尚未 深入 研究 的 现象 ， 以 此 
补充 、 丰 富 和 加 深 对 于 事物 本 质 的 认识 。 这 是 一 个 由 现象 到 本 质 又 由 
本 质 到 现象 的 循环 往复 的 认识 过 程 。 


(3 注意 防止 经 验 主义 和 理性 主义 (教条 主义 ) 的 出 现 。 哲 学 史上 
的 经 验 主义 和 理性 主义 是 目 沉 的 思想 体系 ， 以 割 多 现 象 与 本 质 为 其 立 
论 的 依据 。 经 验 主 义 否定 感性 认识 到 理性 认识 的 转化 ， 也 就 是 否定 现 
象 到 本 质 的 转化 ， 理 性 主义 否定 理性 认识 到 感性 认识 的 转化 ， 也 就 是 
否定 本 质 到 现象 的 转化 。 实 际 生 活 中 的 经 验 主义 和 教条 主义 并 无 目 澳 
的 思想 体系 ， 它 们 只 是 表现 为 实际 认识 过 程 中 的 片面 性 ， 但 其 认识 基 
础 同样 古 钊 诛 现象 与 本 质 的 辨证 统一 。 

(区 别 真 相 与 假象 、 假 象 与 错觉 。 真 相 是 从 正面 表现 本 质 的 现 
象 。 假 象 则 是 一 种 虚假 的 现象 ， 它 也 是 本 质 的 一 种 表现 ， 但 却 是 本 质 
在 特定 条 件 下 的 一 种 反面 表现 。 错 觉 是 由 于 人 的 感觉 上 的 错误 造成 
的 ， 属 于 主观 的 范畴 ;假象 则 是 由 客观 存在 的 种 种 条 件 造 成 的 ， 它 古 
现象 的 一 种 ， 属 于 客观 的 范畴 。 


(一 ) 更 假 : 不 是 整体 概 狐 ， 而 是 个 体 特征 


小 数据 主要 以 单个 人 为 研究 对 象 ， 重 点 在 于 深度 ， 对 个 人 数据 深 
入 地 精确 地 挖掘 ， 对 比 而 言 ， 大 数据 则 侧重 在 某 个 领域 方面 ， 在 大 范 
图 、 大 规模 全 面 数 据 收集 处 理 分 析 ， 侧 重 在 于 广度 。 大 数据 反映 整体 
概 狗 ， 小 数据 揭示 个 体 特 征 。 整 体征 由 个 体 组 成 的 ， 整 体 的 影响 归根 
结 底 是 整体 中 的 个 体 在 具体 起 作用 (整体 只 是 一 个 虚 泛 的 联合 概 
念 ) ， 整 体 中 的 个 体 可 以 从 不 同 角度 、 方 面 联结 为 一 个 整体 起 作用 。 
网 络 、 电 话 等 新 技术 加 深 了 个 体 间 的 这 种 联系 ， 从 而 加 剧 了 整体 环境 
对 人 的 影响 作用 。 

人 对 目 我 的 认 知 十 模糊 的 ， 要 认 知 整个 社会 有 很 大 的 难度 。 人 对 
自我 的 定义 往往 是 周遭 人 (而 不 是 整个 社会 ) 的 评价 加 上 上 自我 的 意识 
在 很 长 一 段 时 间 内 逐渐 形成 的 。 通 过 整体 来 定义 是 有 危险 的 ， 有 时 人 
们 会 为 了 某 种 特殊 的 目的 而 竺 在 某 个 群体 中 。 例 如 ， 政 治 家 为 了 选 
举 ， 社 会 学 家 为 了 获得 第 一 手 资 料 ， 间 谍 为 了 得 到 特定 信息 。 他 们 与 
这 个 群体 中 的 人 并 不 相同 ， 但 却 混在 一 起 。 

群体 虽然 是 一 群 有 相同 特征 的 人 的 集合 ， 但 群体 中 每 个 人 都 有 目 
我 的 个 性 ， 并 且 每 个 人 都 可 属于 不 同 的 群体 。 个 体 信息 量 (小 数据 ) 
的 累积 有 助 于 对 整体 面 狐 (大 数据 ， 更 全 面 立 体 地 观察 审视 ， 从 而 有 
助 于 对 整体 复杂 性 和 人 全貌 的 把 握 。 但 同时 过 分 强调 细 市 (小 数据 ) 会 
无 法 构建 一 个 清晰 简明 的 整体 形象 大 数据 ) ， 难 以 对 本 质 和 真实 性 
有 所 挖 据 和 快速 把 握 ， 沉 溺 在 细 市 的 绽 菩 中 。 

因此 ， 大 数据 与 小 数据 是 揭示 事物 内 在 要 素 和 结构 及 其 表现 形式 
之 间 关 系 的 一 对 范畴 。Q 山 小 数据 是 指 事物 的 内 在 要 素 及 其 相互 之 间 的 
关系 ， 主 要 包括 事物 的 构成 成 分 、 内 在 特征 、 运 动 过 程 以 及 发 展 趋 
势 。 大 数据 是 指 事物 各 要 素 之 间 的 结构 及 其 表现 方式 。 小 数据 活跃 易 
变 ， 大 数据 则 相对 稳定 ， 大 数据 不 同 于 小 数据 。 包 小 数据 决定 大 数 
据 ， 大 数据 对 小 数据 有 反作用 ， 由 此 形成 大 数据 与 小 数据 之 间 的 矛盾 
运动 ,不断 地 使 大 数据 与 小 数据 之 间 由 相对 适合 到 相对 不 适合 再 到 相 
对 适合 发 展 。 


(二 ) 更 近 : 不 是 可 能 性 ， 而 是 现实 性 


可 能 性 〈 大 数据 ) 是 指 包含 在 事物 中 的 ， 并 预示 事物 发 展 前 途 的 
种 种 趋势 ， 是 潜在 的 ， 尚 未 实现 的 东西 。 现 实 性 (小 数据 ) 是 指 包含 
内 在 的 根据 的 合乎 必然 性 的 存在 ， 是 客观 事物 和 现象 种 种 联系 的 综 
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(1) 可 能 性 和 现实 性 的 辩证 关系 。 届 可 能 性 和 现实 性 是 相互 区 别 
的 ， 可 能 性 是 尚未 实现 的 东西 ， 不 是 现实 性 ， 而 现实 性 则 是 已 经 实现 
了 的 可 能 性 ， 已 不 再 是 可 能 性 。@ 可 能 性 和 现实 性 又 是 统一 的 ， 它 们 
相互 依赖 、 相 互 转化 。 可 能 性 存在 于 现实 性 中 ， 离 开 现 实 性 ， 吏 谈 不 
上 可 能 性 ;现实 性 也 离 不 开 可 能 性 ， 没 有 可 能 的 东西 ， 不 会 成 为 现 
实 ， 任 何 现实 部 是 由 可 能 转化 来 的 。(3) 相 互 转化 。 可 能 性 在 一 定 条 件 
会 转化 为 现实 性 ， 现 实 性 又 产生 新 的 可 能 性 ， 即 现实 性 化 为 可 能 
性 。 事 物 的 发 展 过 程 是 一 个 不 断 由 可 能 加 现实 转化 的 过 程 。 这 种 转化 
需要 一 定 的 条 件 。 在 人 类 社会 实践 中 ， 可 能 同 现实 转化 需要 客观 条 
件 ， 还 需要 主观 条 件 。 


(2) 可 能 性 和 现实 性 辩证 关系 原理 的 意义 。 届 我 们 的 一 切 工作 必 
须 立 足 于 现实 ， 从 现实 出 发 制订 我 们 的 方针 、 方 案 、 计 划 。 只 有 从 现 
实 出 发 ， 才 能 正确 分 析 种 种 可 能 性 ， 正 确 预 见 未 来 ， 使 主观 能 动 性 的 
发 挥 建 立 在 可 靠 的 基础 上 上。 在 制订 计划 、 方 案 前 要 注意 分 析 可 能 性 
的 各 种 情况 : 可 能 和 不 可 能 ， 现 实 可 能 和 非 (抽象 ) 可 能 ， 好 的 可 能 
和 坏 的 可 能 ， 可 能 性 在 量 上 的 大 小 ， 即 概率 。(3) 可 能 向 现实 转化 除了 
客观 条 件 ， 还 需要 主观 条 件 ， 即 主观 努力 。 我 们 要 发 挥 主观 能 动 性 ， 
创造 各 种 条 件 ， 使 好 的 可 能 性 向 现实 性 转化 。 


(三 ) 更 真 : 不 是 必然 性 ， 而 是 偶然 性 


必然 性 〈 大 数据 ) 是 指 客观 事物 联系 和 发 展 过 程 中 合乎 规律 的 、 
一 定 要 发 生 的 、 确 定 不 移 的 趋势 。 偶 然 性 〈 小 数据 ) 是 指 客观 事物 联 
系 和 发 展 过 程 中 并 非 确定 发 生 的 ， 可 以 这 样 出 现 ， 也 可 以 那样 出 现 的 
不 确定 趋势 。 


(1) 必然 性 和 偶然 性 是 对 立 的 。 中 必然 性 和 偶然 性 在 事物 发 展 中 
所 处 的 地 位 和 所 起 的 作用 不 同 。 必 然 性 在 事物 发 展 中 居 文 配 地 位 ， 决 
定 事物 的 发 展 方向 ;偶然 性 居于 次 要 地 位 ， 不 决定 事物 的 发 展 方 癌 。 
忆 必 然 性 和 偶然 性 体现 事物 发 展 的 两 种 不 同 趋势 。 必 然 性 是 事物 发 展 
中 持久 稳定 的 趋势 ， 侦 然 性 则 是 暂时 的 、 不 稳定 的 趋势 。 


(2) 必然 性 和 偶然 性 又 是 统一 的 。 册 必然 性 存在 于 侦 然 性 之 中 ， 
没有 脱离 偶然 性 纯粹 的 必然 性 。 必 然 性 通过 大 量 的 偶然 性 表现 出 来 ， 
并 为 自己 开辟 道路 。 避 偶然 性 体现 必然 性 ， 并 受制 于 必然 性 。 没 有 脱 
离 必 然 性 的 纯粹 的 偶然 性 。 偶 然 性 是 必然 性 的 表现 形式 和 补充 ， 凡 是 
存在 偶然 性 的 地 方 ， 其 育 后 总 是 隐藏 着 必然 性 。 任 何 偶然 性 都 不 能 完 
全 地 、 绝 对 地 摆脱 必然 性 的 支配 和 制约 。(9) 必 然 性 和 偶然 性 在 一 定 条 
件 下 可 以 相互 转化 。 由 于 事物 范围 极其 广大 和 发 展 的 无 限 性 ， 必 然 性 
和 偶然 性 的 区 分 征 相 对 的 。 在 一 定 条 件 下 ， 偶 然 性 可 以 转化 为 必然 
性 ， 必 然 性 也 可 以 转化 为 偶然 性 。 


(3) 必然 性 和 偶然 性 辩证 关系 原理 的 意义 。 人 掌握 客观 必然 性 是 
科学 认识 和 实践 的 基础 。 只 有 立足 于 必然 性 ， 努 力 研 究 揭 示 必 然 性 ， 
才能 使 科学 研究 沿 看 正确 的 方 癌 发展 。 只 有 认识 必然 性 并 利用 必然 性 
才能 获得 自由 。 人 在 科学 研究 中 偶然 性 的 作用 也 不 能 忽视 。 只 有 认识 
偶然 性 在 事物 发 展 中 的 作用 ， 才 能 注意 利用 一 切 的 偶然 因素 去 推动 科 
学 发 展 ， 防 止 和 消除 不 利 的 偶然 因素 的 影响 ， 做 a 到“ 有备无患 ”。 


二 、 小 数据 的 原因 结 采 


原因 是 指引 起 一 定 现象 的 现象 。 结 果 是 指 由 原因 的 作用 而 引起 的 
现象 。 在 现实 世界 中 原因 总 十 伴 随 着 结果 ， 结 果 一 定 是 由 一 定 原因 引 
起 的 ， 因 果 双 方 失去 一 方 ， 男 一 方 也 束 不 存在 了 。 同 时 ， 在 无 限 发 展 
的 链条 中 每 一 现象 发 展 的 原因 和 结果 往往 是 相互 作用 、 互 为 因果 的 ， 
即 甲 现象 引起 乙 现 象 ， 反 过 来 乙 现象 又 作用 于 甲 现象 ， 甲 乙 互 为 因 
果 ， 即 因果 循环 。 承 认 因 采 联 系 的 客观 普遍 性 是 进行 科学 人 研究、 获得 
科学 认识 的 前 所。 科学 研 完 在 一 定 意 义 上 ， 驶 是 揭示 事物 因 采 联系 ， 
从 而 提出 解决 问题 的 方法 。 正 确 地 把 握 因 采 联 系 ， 有 利于 研究 真实 的 
大 数据 与 小 数据 ， 因 为 原因 不 等 于 相关 。 准 确 地 把 握 因 果 联 系 ， 能 增 
强 数据 的 预见 性 。 


《大 数据 时 代 》 一 书 指出 ， 在 大 数据 时 代 ， 我 们 没有 必要 再 热衷 
于 寻找 因果 关系 ， 应 该 寻找 事物 之 间 的 相关 关系 。 大 数据 告诉 我 们 “是 
什么 ”"， 而 不 是 “为 什么 ”*。 在 大 数据 时 代 ， 我 们 不 必 知 道 现象 背后 的 原 
因 ， 我 们 只 要 让 数据 上 自己 发 声 。 这 本 书 的 主要 观点 包括 : 更 多 : 采 
用 的 数据 不 再 是 随机 样本 ， 而 是 全 部 数据 ;人 更 杂 : 主动 拥抱 数据 的 
混杂 性 ， 不 再 一 味 退 求 数 据 的 精确 度 ， 大 方 同 的 准确 才 是 最 重要 的 ; 
(3 更 好 :从 关注 事物 间 的 因果 关系 ， 转 变 为 关注 事物 的 相关 关系 。 


这 些 观点 ， 其 实 非 第 好 理解 。 随 着 数据 分 析 工 具 、 信 息 处 理 器 和 
存储 需 扩 术 的 发 展 ， 人 类 能 更 加 轻易 地 收集 数据 、 人 存储 数据 、 分 析 数 
据 。 在 信息 收集 过 程 中 ， 会 出 现 许 多 不 那么 精准 甚至 比较 混乱 的 数 
据 ， 这 些 泥 乱 的 数据 会 影响 到 结论 的 准确 性 ， 但 古 当 数据 特别 多 的 时 
候 ， 少 部 分 混乱 对 结果 造成 的 影响 束 微 乎 其 微 了 。 不 过 ， 大 数据 只 能 
表明 概率 ， 它 能 够 正确 判断 大 致 的 趋势 ， 但 它 并 不 是 100% 正 确 无 误 
的 。 除 此 之 外 ， 大 数据 更 关注 “是 什么 *"， 对 “为 什么 ”关注 其 少 ， 也 很 


难 去 解释 其 中 的 因果 关系 。 但 是 ， 现 实 中 很 多 事情 我 们 还 是 需要 知道 
原因 和 结 末 的 ， 也 许 小 数据 比 大 数据 更 有 效 。 


(一 ) 更 多 : 不 是 全 体 数 据 ， 而 是 随机 样本 


大 数据 强调 更 多 的 数据 ， 不 是 随机 样本 ， 而 征 全 体 数 据 。 让 数 
据 “ 发 声 ' 一 一 BM 的 资深 “大 数据 ”专家 杰 夫 乔 纳 斯 (Jeff Jonas) 提出 
要 让 数据 “说 话 ”( 注 : 数据 如 何 才能 说 话 呢 ? 数据 是 客观 的 ， 我 想 数 
据 要 表达 的 意思 是 它 在 数学 与 统计 上 呈现 的 特征 ， 以 及 根据 这 些 特征 
所 获得 的 洞察 结果 。 如 何 能 理解 数据 呢 ? 数学 和 统计 是 它 的 语言 ) 。 

目前 我 们 可 以 处 理 的 数据 量 已 经 大 大 增加 ， 而 且 未 来 会 越 来 越 
多 。 在 某 些 方面 ， 我 们 依然 没有 完全 意识 到 目 己 拥有 了 能 够 收集 和 处 
理 更 大 规模 数据 的 能 力 。 小 数据 时 代 ， 由 于 受到 数据 收集 和 处 理 能 
的 限制 ， 往 往 采 用 随机 采样 的 办 法 ， 用 最 少 的 数据 获得 最 多 的 信息 。 

统计 学 家 证 明 ， 采 样 分 析 的 精确 性 随 奢 采 样 随 机 性 的 增加 而 大 幅 
提高 ， 但 与 样本 数量 的 增加 关系 不 大 ， 一 个 简单 的 解释 是 ， 当 样本 数 
量 达到 某 个 值 之 后 ， 从 新 个 体 身 上 得 到 的 信息 会 越 来 越 少 ， 如 同 经 济 
学 中 的 边际 效应 递减 一 样 〈 注 : 什么 叫 边际 效应 递减 ? 吃 第 一 个 包子 
很 满足 ， 吃 第 二 个 也 不 错 ， 吃 第 十 个 包子 时 可 能 束 没 什么 满足 感 了 。 
因此 ， 样 本 的 随机 性 比 样本 的 数量 更 重要 ) 。 

首先 ， 大 数据 只 能 被 动 地 挖 据 、 收 集 已 经 客观 发 生 了 的 行为 信 
居 ， 而 抽样 调查 和 实验 人 研究 则 可 以 “制造 ”数据 。 例 如 ， 在 小 数据 研究 
中 ， 人 研究 人 员 可 以 根据 自己 的 理论 需求 设计 问卷 ， 并 测量 受 访 人 对 不 
同 问题 的 看 法 和 态度 ， 而 大 数据 只 能 局 限于 每 个 人 对 一 个 固定 事件 已 
经 表达 的 意见 。 此 外 ， 小 数据 研究 不 仅 能 收集 已 经 发 生 的 事情 的 数 
据 ， 还 可 以 收集 并 未 发 生 或 发 生 概 率 渺 范 的 事件 信息 ， 如 通过 情景 设 
置 的 方式 或 实验 的 方法 来 检验 受 访 者 在 假设 情景 中 可 能 的 态度 和 行 


为 ， 这 显然 是 大 数据 研究 很 难 做 到 的 。 再 者 ， 小 数据 在 收集 受 访 人 观 
念 、 态 度 和 行为 方面 数据 的 同时 ， 还 可 以 收集 他 们 各 方面 的 个 人 基本 
信息 ， 如 家 庭 、 工 作 、 收 入 、 政 治 面 狐 、 有 宗教 信仰 等 ， 这 些 信息 为 解 
释 受 访 人 的 其 他 行为 和 观念 提供 了 更 多 的 可 能 性 ， 而 大 数据 人 研究 无 法 
根据 研究 者 的 需要 来 收集 个 人 信息 。 从 这 个 意义 上 说 ， 小 数据 比 大 数 
据 更 适合 进行 具有 理论 意义 和 理论 突破 的 研究 。 


其 次 ， 抽 样 调查 的 样本 在 特定 情况 下 比 某 些 “ 大 数据 ”更 具有 代表 
性 。 所 谓 抽样 调查 ， 就 是 以 总 人 口 为 基础 ， 用 科学 的 方法 ， 随 机 抽取 
样本 。 好 的 随机 样本 应 该 符合 总 人 口 的 基本 特征 ， 如 性 别 、 年 龄 、 教 
育 程度 和 地 区 的 分 布 等 。 而 通过 网 络 收集 的 “大 数据 *”， 无 论 数 量 多 房 
大 ， 也 不 过 是 总 人 口中 的 一 个 特定 群体 ， 即 网 络 用 户 。 如 前 所 述 ， 这 
一 群体 通常 是 低 年 龄 、 高 学 历 的 日 领 阶 屋 ， 哪 怕 他 们 有 成 和 十 上 万 甚至 
上 亿 人 ， 他 们 的 意见 仍然 不 能 代表 总 人 口 。 往 往 只 有 几 生 人 的 随机 抽 
样 的 样本 ， 虽 然 具 有 一 定 的 误差 ， 但 人 研究 者 可 以 通过 数学 、 统 计 方法 
来 估算 和 减少 误差 ， 至 少 使 抽样 数据 在 理论 上 是 代表 总 人 口 的 。 因 此 
这 些 人 所 表达 的 意见 ， 比 大 数据 更 具有 普遍 性 。 


(二 ) 更 杂 : 不 是 混杂 性 ， 而 是 准确 性 


执 迷 于 精确 性 是 信息 缺乏 时 代 和 模拟 时 代 的 产物 。 只 有 59% 的 数据 
征 有 框 洪 且 能 适用 于 传统 数据 库 的 。 如 果 不 接受 宴 杂 ， 镜 下 95% 的 非 
框架 数据 都 无 法 被 利用 ， 只 有 接受 不 精确 性 ， 我 们 才能 打开 一 局 从 未 
涉足 的 世界 的 窗户 。 

在 越 来 越 多 的 情况 下 ， 使 用 所 有 可 获取 的 数据 变 得 更 为 可 能 ， 但 
为 此 也 要 付出 一 定 的 代价 。 数 据 量 的 大 幅 增加 会 造成 结果 的 不 准确 ， 
与 此 同时 ， 一 些 错误 的 数据 也 会 混 进 数据 库 。 


对 “小 数据 ”而 言 ， 最 基本 、 最 重要 的 要 求 加 是 减少 错误 ， 保 证 质 
量 。 因 为 收集 的 信息 量 比较 少 ， 所 以 我 们 必须 确保 记录 下 来 的 数据 尽 
量 精 确 。 因 为 收集 信息 的 有 限 意 味 着 细微 的 错误 会 被 放大 ， 甚 至 有 可 
能 会 影响 整个 结果 的 准确 性 。 

大 数据 的 多 样 性 决定 了 其 在 数据 质量 上 的 参 才 不 齐 。 换 句 话 说， 
这 个 语 境 下 的 多 样 性 就 是 混杂 性 (Messy) ， 即 数据 里 亡 有 杂质 (或 
称 噪 声 ) 。 大 数据 的 混杂 性 ， 基 本 上 是 不 可 避免 的 ， 既 可 能 是 数据 产 
生 者 在 产生 数据 过 程 中 出 现 了 问题 ， 也 可 能 是 采集 或 存储 过 程 中 存在 
问题 。 如 采 这 些 数据 噪声 是 偶然 的 ， 那 么 在 大 数据 中 ， 它 一 定 会 被 更 
多 的 正确 数据 港 没 抒 ， 这 样 吏 使 大 数据 具备 了 一 定 的 容错 性 。 如 果品 
声 存在 规律 性 ， 那 么 在 具备 足够 多 的 数据 后 ， 束 有 机 会 发 现 这 个 规 
律 ， 从 而 可 以 有 规律 地 “清洗 数据 *"， 把 噪声 过 滤 挥 。 但 是 ， 现 实 中 某 
些 低 频 但 很 重要 的 弱 信 号 ， 很 容易 被 当 作 噪声 过 滤 挥 ! 从 而 痛 失 发 
现 “ 黑 天 鹅 ” 事 件 的 可 能 性 。 


例如 ， 在 美国 ， 学 习 飞 机 驾驶 是 件 “ 司 空 见 惯 * 的 事 ， 在 几 十 万 学 
习 飞机 营 驶 的 记录 中 ， 如 果 美 国有 关 当 局 能 注意 到 ， 有 那么 几 位 学 员 
只 学 习 “ 飞 机 起 飞 ”"， 而 不 学 习 “ 飞 机 降落 *”， 那 么 “9.11” 事 件 或 许 束 可 以 
避免 。 在 大 数据 时 代 的 分 析 中 ， 很 容易 放弃 对 精确 的 追求 ， 而 允许 对 
混杂 数据 的 接纳 ， 但 过 多 的 “混杂 放纵 ”， 束 会 形成 一 个 目 设 的 陷阱 。 
因此 ， 必 须 * 未 雨 绸 炙 "， 有 所 提防 。 


(三 ) 更 好 : 不 是 相关 关系 ， 而 是 因果 关系 


知道 “是 什么 ”就 够 了 ， 没 必要 知道 “为 什么 "。 在 大 数据 时 代 ,我 
们 不 必 非 得 知道 现象 背后 的 原因 ， 而 是 要 让 数据 自己 “发 声 *。 但 现实 
是 这 样 的 吗 ? 


假如 你 是 一 位 出 车 千 次 无 事故 的 好 司机 ， 人 恰好 在 朋友 家 喝 了 点 
酒 ， 警 察 也 下 班 了 ， 于 是 你 坚持 自己 开车 回 家 ， 盘 算 着 出 问题 的 概率 
也 不 过 于 分 之 一 吧 。 如 果 这 样 算 ， 你 就 犯 了 一 个 取样 错误 ， 因 为 那 一 
干 次 出 车 ， 你 没 喝酒 ， 它 们 不 能 和 这 次 混在 一 起 计算 。 这 也 是 大 数 
据 “ 采 矿 ”* 常 犯 的 错误 。 

从 1967 年 的 第 一 届 美 国 超级 确 杯 侣 槛 球赛 到 1997 年 的 第 三 十 一 
届 ， 只 要 NFL 《纽约 巨人 队 ) 联赛 出 线 队 赢 ， 当 年 的 股票 就 大 涨 14% 
以 上 ，AFL (丹佛 时 马队 ) 联赛 出 线 队 赢 ， 则 至 少 大 跌 10%。 如 果 你 
按照 这 个 指标 来 买卖 股票 ， 就 要 小 心 了 ! 1998 年 ，AFL 赢 ， 当 年 股市 
大 涨 28%; 2008 年 NFL 赢 ， 股 市 不 仅 大 跌 35%， 还 引发 了 次 贷 金融 危 
机 。 


只 要 有 超大 样本 和 超 多 变量 ， 我 们 束 可 能 找到 无 厘 尖 式 的 相关 
性 。 它 完全 符合 统计 方法 的 闫 格 要 求 ， 但 两 者 之 间 并 没有 因果 关系。 
美国 政府 每 年 公布 4.5 万 类 经 济 数据 。 如 采 你 要 找 失 业 率 和 利率 受 什么 
变量 影响 ， 你 可 以 罗列 10 亿 个 假设 。 我 目 己 的 研究 经 验 也 显示 ， 只 要 
你 反复 笑 试 不 同 的 模型 ， 上 千 次 后 ， 你 一 定 可 以 找到 统计 学 意义 上 成 
立 的 相关 性 。 把 相关 性 当 作 因 有 果 关 系 ， 这 古 大 数据 “采矿 ”的 男 一 个 陷 
阱 。 


我 们 常 说 ， 三 尺 深 的 水 池 能 淹 死 人 ， 因 为 三 尺 只 是 平均 值 。 忽 上 略 
极 值 ， 采 用 平均 值 ， 是 大 数据 采矿 第 三 个 常见 的 陷阱 。 博 穿 论 创始 人 
之 一 ， 冯 : 诺 伊 曼 (John von Neumann) 曾经 戏言 : 有 四 个 参数 ， 我 能 
画 头 大 象 ， 再 加 一 个 ， 我 让 大 象 的 盘子 竖 起 来 ! 大 数据 “采矿 ”可 能 给 
出 新 颖 的 相关 性 。 但 是 ， 脱 离 了 问题 的 情境 ， 它 不 但 不 能 保证 因果 关 
系 ， 还 可 能 误导 决策 。 


一 、 智 能 化 人 生 


(一 ) 小 数据 与 预见 目 我 


当 我 们 无 法 精确 定义 某 种 事物 时 ， 就 会 冠 之 以 一 个 指 意 模 糊 的 代 
称 ，“ 大 数据 ”(Big Data) 束 是 这 样 一 种 代称 。 如 果 我 们 想 要 理解 它 ， 
只 能 将 它 进一步 具体 化 。 

美国 帕 罗 奥 多 研究 中 心 (PARC) 的 马克 : 韦 泽 (Mark Weiser) 提 
出 人 类 最 终 将 进入 “ 普 适 计算 ”(Ubiquitous Computing) 的 阶段 ， 即 我 
们 可 以 在 任何 时 间 、 地 点 ， 获 取 和 处 理 任 何 信息 ， 无 处 不 在 的 微小 设 
备 无 时 无 刻 不 在 采集 、 传 输 和 计算 ， 形 成 一 个 包罗 万 象 的 信息 网 络 ， 
这 与 磋 省 理工 学 院 的 Kevin Ash-ton 教 授 在 1991 年 提出 的 “ 物 联网 ” (The 
Internet of Things) 殊途同归 。 

普 适 计算 很 可 能 不 再 是 预言 。 因 为 数据 正在 逐渐 渗透 人 们 的 生 
活 ， 它 可 能 影响 甚至 取代 原 有 的 知识 生产 方式 和 认识 框架 ， 而 其 中 一 
个 非常 重要 的 趋势 ， 束 是 “量化 自我 ”(Quantified Self) 。 量 化 自我 ， 
标志 着 社会 化 的 个 体 开 始 主动 运用 数据 的 方式 开展 认识 目 我 的 实践 ， 
预示 着 人 类 认 知 领域 全 面 数据 化 的 开始 。 


(1) 量化 自我 概念 


量化 自我 ， 由 英文 “Quantified Self” 直 译 而 来 ， 是 “运用 技术 手段 ， 
对 个 人 生活 中 有 关 生 理 吸 收 (Inputs) 、 当 前 状态 (Status) 和 身心 表 
现 (Performance ) 等 方面 的 数据 进行 获取 ”， 也 可 称 作 “Self- 
tracking” (自我 跟踪 ) 、“Auto-analytics” (自我 分 析 ) 等 。 


量化 自我 ，2007 年 由 《 连 线 》 (Wired) 杂志 主编 电文 :凯利 
(Kevin Kelly) 和 技术 专栏 作家 沃 尔 夫 (Gary Wolf) 提出 ， 并 由 此 发 
起 一 场 探 索 自 我 身体 (Hack the self) 的 社会 运动 ， 他 们 把 对 自我 跟 踩 
感 兴趣 的 使 用 者 和 工具 制造 者 (Self-tracker) 组 织 起 来 ， 召 开 量 化 自 
我 大 会 ， 在 全 球 各 国 建立 量化 自我 的 兴趣 组 织 。 
试图 对 人 上 自 喘 进行 量化 监测 的 想法 由 来 已 人 入 。 早 期 的 概念 是 人 本 
主义 计算 (Humanistic Computing) ， 这 可 以 追溯 到 20 世 纪 70 年 代 ， 那 
时 就 已 经 有 通过 罕 戴 式 传感器 (Wearable Sensors) 以 人 的 行为 、 生 理 
言 轧 为 对 象 的 研究 。 早 期 的 研究 使 用 诸如 穿戴 式 摄 像 机 等 比较 简陋 的 
技术 手段 ， 记 录 人 日 常生 活 中 的 心理 和 生理 变化 来 了 解 人 类 的 智能 、 
行为 等 。 今 天 的 量化 自我 ， 无 论 是 可 量化 的 内 容 范 围 ， 还 是 技术 手 
段 ， 都 已 有 了 惊人 的 进步 。 


(2) 狭义 量化 自我 


狭义 的 量化 自我 ， 是 指 与 人 体 日 常生 理 活动 状态 直接 相关 的 量化 
和 监测 过 程 。 通 过 使 用 计算 机 、 便 携 式 传 感 和 智能 手机 应 用 等 技术 手 
段 ， 来 追 中 和 记录 运动 、 睡 眠 、 饮 食 、 心 情 等 个 体 行 为 的 情况 ， 通 过 
各 种 数据 指标 来 研究 、 分 析 目 喘 ， 例如,“ 体重 ”“ 计 步 *“ 睡 眠 上 时间”“ 消 
耗 食物 卡路里 “空气 质量 “压力 指数 “皮肤 电导 ”*“ 血 氧 饱和 度 ”* 等 。 狭 
义 的 量化 自我 主要 围绕 着 运动 健 量 、 日 常生 理 和 疾病 治疗 这 三 类 数据 
进行 监测 和 分 析 ， 目 的 在 于 改善 身体 健康 状况 ， 因 此 也 可 称 作 ”* 健 康 量 
化 ”(Health tracking) 。 


根据 目标 、 技 术 和 形式 的 不 同 ， 狭 义 的 量化 目 我 包括 以 下 几 个 方 


面 


中 日常 记录 (Everyday Tracking) 。 通 过 App、 网 站 的 提醒 服务 ， 
从 用 户 的 日 常 实际 生活 行为 (Activities) 到 互联 网 行为 〈Internet 
Behaviors) ， 收 集 、 归 类 建立 个 人 档案 ， 并 通过 图 表 等 视觉 化 方式 加 
以 呈现 。 


GO 运动 追踪 (Activity Tracking) 。 主 要 是 通过 穿戴 式 智 能 传 感 
右 ， 围 绕 人 的 物理 活动 ， 追 踩 运动 、 饮 食 和 有 睡 眼 相 关 数 据 ， 并 通过 配 
套 的 App 实 现 数据 记录 、 分 析 、 可 视 化 、 设 置 目 标 、 提 本 等 功能 ， 通 
常 软件 还 加 入 了 协作 、 社 交 分 享 的 功能 。 

(3 睡眠 管理 (Sleep Management) 。 通 过 穿戴 的 设备 ， 监 测 、 分 
析 睡 眠 ， 提 供 个 性 化 的 睡 眼 改善 方案 。 


(情绪 监测 (Mood Tracking) 。 通 过 网 站 、App 等 服务 ， 用 户 自 
主 记录 情绪 ， 监 测 情绪 长 期 变化 。 


机 能 监测 (Body Tracking) 。 对 身体 各 项 关键 生理 指标 进行 监 
测 和 记录 ， 主 要 包括 心脏 系统 、 血 液 系 统 、 体 重 三 类 数据 。 


除了 以 上 罗列 的 各 种 目 我 量化 的 软件 、 穿 戴 式 设备 和 服务 ， 还 有 
其 他 各 种 各 样 的 健康 数据 监测 的 服务 ， 比 如 ，DNA 测 序 
(23andMe) 、 微 量 元 素 监测 (Spectracell) 、 了 血糖 监测 (Dexcom) 
甚至 认 知 追踪 (Quantified-mind) ; 除了 监测 数据 类 型 的 多 样 化 ， 还 
提供 相应 的 数据 处 理 服务 ， 如 电子 病历 服务 、 个 人 健康 记录 管理 等 。 
总 而 言 之 ， 就 是 把 实时 监测 、 记 录 的 健康 数据 可 读 化 、 云 端 化 、 社 交 
1 


(3) 广义 量化 自我 


广义 而 言 ， 量 化 目 我 绝 不 仅 限 于 身体 和 健康 领域 ， 还 包括 个 体 的 
日 音 生 活 习惯 、 行 为 、 认 知 等 。 如 采 说 狭义 的 量化 目 我 是 “健康 量 
化 ”， 探 索 目 我 身体 (Hack the self) ， 那 么 广义 的 量化 自我 ， 就 是 探 
索 个 体 生活 (Hack my life) 。 比 如 ， 记 录 夫 妻 关系 、 学 习 、 孩 子 的 教 
育 情况 、 身 体 以 及 房子 等 。 我 们 每 天 通过 个 人 计算 机 、 智 能 手机 、 信 
用 卡 等 不 断 产 生 文 字 、 照片、 声音 、 视 频 、 地 理 位 置 和 请 费 记 录 ， 都 
征 在 构建 这 个 大 数据 世界 ， 个 体 把 对 目 我 的 了 解 变 成 个 人 数据 库 ， 无 
数 个 体 的 个 人 数据 库 共 同 编织 成 为 " 目 我 大 数据 ”。 


未 来 广泛 的 个 体 量 化 数据 网 络 (QS Database) ， 将 会 主要 包含 以 
下 四 类 数据 : 健康 数据 〈 关 于 人 体 机 能 与 状态 的 数据 ) 、 认 知 数据 
(关于 个 体 性 格 、 认 知 规律 的 数据 ) 、 消 费 数据 〈 关 于 个 体 消 费 行为 
与 习惯 的 数据 ) 和 环境 数据 〈 关 于 个 体 与 物理 环境 互动 的 数据 ) 。 在 
现 有 的 技术 条 件 下 ， 我 们 已 经 具备 了 对 以 上 四 类 数据 收集 、 储 存 和 初 
步 处 理 的 可 能 性 。“ 目 我 大 数据 ”无 疑 会 成 为 大 数据 最 重要 的 一 个 组 成 
部 分 。 个 体 可 以 被 全 面 量化 ， 表 明 数 据 可 能 会 深刻 地 改变 人 类 知识 生 
产 方式 和 认识 框架 。 


(二 ) 生命 大 数据 


在 互联 网 社会 ， 我 们 接触 到 的 数字 化 信息 越 来 越 多 。 正 如 美国 麻 
省 理工 学 院 教 授 、 媒 体 实验 室 的 创办 人 ， 被 媒体 誉 为 “未 来 学 家 ”的 尼 
锡 洛 庞 帝 在 《数字 化 生存 》 中 所 说 , “信息 的 DNA” 正 在 迅速 取代 原子 
而 成 为 人 类 生活 中 的 基本 交换 物 。 

每 个 生命 体 都 是 大 数据 ， 人 的 基因 组 有 约 30 亿 对 碱 基 ， 以 一 个 
Byte 〈 字 节 ) 储存 一 对 碱 基 来 算 ， 每 个 人 有 3GB 左 右 的 数据 量 。 觉 得 
不 多 ? 其 实 一 个 人 基因 组 检测 的 原始 数据 就 有 好 几 百 GB， 再 加 上 和 蛋 日 
质 等 好 几 个 TB 才能 够 完成 一 个 人 的 数据 。 即 使 按 一 个 人 1TB 的 数据 量 
来 算 ， 人 全球 人 的 基因 组 加 起 来 就 有 约 7 万 亿 GB 的 数据 量 。 而 且 ， 和 我 
们 同 在 的 不 只 是 我 们 自己 ， 还 有 10 倍 于 我 们 细胞 数量 的 微生物 ， 我 们 
的 地 球 上 还 有 许多 的 动物 、 植 物 、 微 生物 ..……… 地 球 生命 的 基因 组 数据 
量 不 可 估计 ， 且 绝对 远 远 大 于 互联 网 数据 量 一 一 据 美 国 市 场 研 究 公 司 
IDC 预 测 ， 到 2020 年 时 ， 全 球 互 联网 数据 总 储存 量 才 达到 40 万 亿 GB。 


正如 世界 上 没有 两 片 完全 一 样 的 树叶 ， 每 个 人 的 基因 组 信息 都 是 
独一无二 的 ， 甚 至 每 个 人 在 不 同时 刻 的 基因 组 信息 都 可 能 有 差异 。 基 
因 组 信息 的 测序 和 生命 密码 的 解读 ， 会 帮助 我 们 了 解 基 因 状 况 、 防 治 
疾病 。 


从 统计 学 角度 来 说 ， 只 有 收集 大 量 的 数据 ， 才 能 从 中 分 析出 规 
律 。 疾病 预知 、 健 康 管 理 同 样 需要 大 数据 的 文 择 ， 只 有 基于 大 范围 的 
数据 比 对 ， 才 能 知道 某 个 人 的 基因 变异 是否 是 致 病原 因 。 因 此 ， 只 
在 收集 多 数 人 的 基因 组 信息 基础 上 ， 才 能 更 为 准确 地 了 解 基 因 与 疾病 
的 关系 ， 以 及 如 何 做 好 未 病 先 防 。 

量化 目 我 的 可 军 戴 设备 促进 了 智能 化 人 生 的 发 展 ， 通 过 收集 个 体 
小 数据 ， 再 通过 情境 感知 和 意识 感知 连接 大 数据 ， 进 行 量 化 目 我 的 分 
析 ， 使 未 来 的 生活 产品 具有 智能 化 的 特性 。 轻 量化 、 便 携 化 、 可 移动 
性 、 目 我 收集 数据 、 实 时 收集 数据 的 需求 显得 日 益 重 要 。 在 大 数据 、 
互联 网 与 人 工 稼 能 的 信息 环境 下 ， 交 互 设 计 的 交互 对 象 从 大 数据 转变 
成 了 小 数据 的 智能 化 人 生 。 


(三 ) 健康 管理 


每 个 现代 人 都 需要 健康 管理 。 据 《新 英格兰 医学 杂志 》 分 析 ， 近 
一 百年 来 ， 慢 性 病 (癌症 、 心 脏 病 等 、 老 年 病 对 人 类 健康 的 影响 越 
来 越 大 。 量 化 自我 让 个 人 健康 医疗 真正 意义 上 转变 为 “Health 2.0” 模 
式 ， 通 过 穿戴 式 传 感 设备 和 智能 手机 应 用 实时 监测 体征 数据 ， 无 线 云 
端 计 算 系 统 可 以 运用 数据 可 视 化 (Data Visualization) 工具 ， 将 数据 反 
映 出 的 健康 信息 ， 以 可 读 的 方式 反馈 给 个 体 ， 从 而 达到 对 健康 的 量化 
监测 (如 图 8-1 所 示 ) 。 


图 8-1 健康 量化 监测 体系 


(四 ) 学 习 管理 


基于 可 罕 戴 设备 的 量化 目 我 技术 融 来 的 是 一 种 新 的 生活 方式 ， 使 
计算 系统 能 够 更 好 地 理解 人 类 用 户 的 意图 和 语 境 ， 更 好 地 模拟 演绎 人 
类 智能 ， 这 也 将 成 为 大 数据 时 代 学 习 的 一 种 新 趋势 。 在 可 穿戴 设备 给 
人 类 生活 市 来 的 各 种 改变 的 基础 上 ， 通 过 分 析 生 活 和 学 习 的 互动 联 


系 ， 量 化 目 我 能 市 来 体 蛤 式 学 习 变 早 ， 可 以 描绘 未 来 学 习 生 态 新 图 
表 ， 使 学 习 文 持 服务 系统 真正 地 帮助 我 们 ， 攻 至 代表 我 们 去 学 习 。 


(五 ) 医学 应 用 


利用 大 数据 和 小 数据 技术 ， 对 个 人 健康 进行 全 生命 周期 管理 ， 实 
现在 任何 时 间 、 任 何 地 点 都 可 以 访问 相关 信息 ， 从 而 保证 了 健康 信息 
的 一 致 性 、 连 续 性 ， 如 Google Health、 微 软 的 Health Vault 等 网 络 平 
台 。 健 康 管理 系统 的 最 主要 特点 就 是 :个 人 的 健康 状态 得 到 了 连续 观 
测 ， 健 康 分 析 人 员 能 够 有 效 地 对 个 人 健康 状况 进行 分 析 ， 以 便 在 映 体 
处 于 非 健 康 状态 时 得 到 及 时 干预 。 


在 健康 管理 领域 中 最 需要 解决 的 问题 束 是 及 时 发 现 喘 体 的 健康 异 
常 和 重大 疾病 风险 预警 ， 传 统 情况 下 我 们 会 通过 年 度 体 检 来 实现 这 一 
要 求 ， 但 是 体检 时 间 跨 度 大 ， 同 时 地 域 的 覆盖 能 力也 不 足 ， 可 穿戴 设 
备 能 够 实现 跨 地 域 大 人 群 身体 异常 实时 发 现 。 通 过 体征 小 数据 [如 心 
率 、 脉 率 、 呼 吸 频率 、 体 温 、 热 消耗 量 、 血 压 、 血 糖 和 血 氧 、 油 素 和 
身体 质量 指数 (BMI) 、 体 脂 含 量 」 监测 来 帮助 用 户 管理 重要 的 生理 
活动 。 

现 阶 段 可 以 利用 的 体征 小 数据 传感器 包括 : 中 体温 传感器 ， 人 OO 热 
通 量 传 感 融 :用 来 监测 热量 消耗 能 力 ， 可 用 于 血糖 辅助 计算 和 新 陈 代 
谢 能 力 推算 ，(3) 体 重 计量 传感器 : 用 于 计算 BMI 指 数 ， 外 脉搏 波 传 感 
絮 : 推算 血压 、 脉 率 等 数据 ;号 生物 电 传 感 硕 : 可 用 于 心 电 、 脑 电 数 
据 采集 ， 也 可 用 来 推算 脂肪 含量 等 ，(@) 光 学 传感器 ， 推算 血 氧 含量 ， 
血 流 速 。 这 些 设备 初始 会 将 一 天 设 定 出 多 个 检测 点 ， 只 需 毗 积 几 天 检 
测 结果 即 可 建立 个 人 初级 模型 ， 利 用 大 数据 和 小 数据 技术 对 所 有 产生 
数据 进行 分 析 ， 汇 总 成 一 个 健康 风险 指数 ， 用 户 可 以 看 到 目 己 的 健康 
风险 指数 和 同龄 、 同 性 别人 群 的 平均 风险 指数 ， 并 且 能 明确 目 己 的 健 
康 风 险 在 同龄 人 群 中 的 排 位 。 同 时 ， 利 用 大 数据 和 小 数据 技术 ， 设 备 


会 根据 使 用 者 实际 情况 进行 调整 ， 一 旦 数据 显示 异常 ， 怠 会 加 大 检测 
密度 ， 反 之 则 会 拉 长 检测 间隔 ， 进 行动 态 调整 。 

这 些 数 值 交 叉 分 析 结 果 可 以 用 来 分 析 用 户 现在 的 体质 状况 ， 进 行 
健康 风险 评 佑 ， 并 可 结合 数据 给 出 几 项 关键 生理 活动 : 睡眠 、 饮 食 、 
运动 和 服药 的 个 性 化 改 矢 建议 ， 让 用 户 的 映 体 健康 状况 保持 在 一 个 稳 
定 的 范围 内 。 


二 、 知 能 化 健康 


(一 ) 量化 自我 与 健康 管理 的 应 用 场景 


事实 上 ， 随 着 全 球 移动 医疗 市 场 的 大 规模 快速 发 展 ， 移 动 医疗 技 
术 将 会 更 好 地 把 医院 、 医 生 和 病人 三 者 有 机 地 联系 起 来 。 我 们 相信 ， 
未 来 每 个 人 都 可 以 随时 访问 、 查 询 并 且 管 理 目 己 的 健康 医疗 数据 ， 这 
些 数据 不 再 掌握 在 遥 不 可 及 的 第 三 方 手 里 ， 而 是 通过 小 数据 技术 ， 活 
跃 于 我 们 的 生活 中 ， 成 为 个 体 的 一 部 分 。 并 且 ， 这 些 数据 将 不 再 局 限 
于 体检 结果 、 束 诊 记录 ,还 可 以 延伸 到 个 人 的 日 第 健康 行为 监测 数 
据 、 过 敏 源 监测 数据 、 基 因数 据 ， 等 等 。 小 数据 将 使 个 体 从 法 律 层面 
上 获得 拥有 并 运用 这 些 数据 的 能 力 ， 人 类 对 目 身 的 认识 也 将 跨 入 一 个 
新 的 阶段 ( 见 表 8-1) 。 

表 8-1 小 数据 在 健康 管理 中 的 应 用 场景 


应 用 场景 数据 内 容 具体 作用 


人 体 运 动 、 睡 卢 、 饮 
日 常生 活 监 测 帮助 消费 者 调整 作息 规律 、 督 促 加 强 训 练 
这 员 食 行为 数据 等 各 助 消费 者 调整 作息 规律 、 督 练 


关心 用 户 的 保健 需求 ， 特 别 是 孕妇 、 敏 感 体 


医疗 保健 类 ”| 各 项 体征 检测 
笑 疗 保健 类 各 项 体征 检测 数据 质 人 群 的 保健 需求 


病历 、 临 床 记录 、 医 | 应 用 高 级 分 析 可 以 预测 哪些 人 是 某 类 疾病 的 


康 档案 分 析 
条 今 | 疗 保险 数据 和 易 感 人 群 ， 帮 助 个 体 明确 自身 医疗 保险 需求 


含有 多 种 诊疗 方案 的 | 结合 对 知识 库 中 多 种 诊疗 方案 的 分 析 发 展 个 
个 性 化 治疗 “| 知识 库 、 用 药 历史 、 | 性 化 治疗 、 根 据 患者 的 实际 情况 调整 药物 剂 
体质 、 经 济 能 力 等 量 ， 改 善 医疗 保健 效果 ， 减 少 副作用 


(二 ) 用 小 数据 预测 心脏 病 发 作 率 


【案例 8.1】 麻 省 理工 学 院 、 密 欣 根 大 学 和 一 家 妇女 医院 创建 
了 一 个 计算 机 模型 ， 可 利用 心脏 病 患 者 的 心电图 数据 进行 分 析 、 预 
测 在 未 来 1 年 内 患者 心脏 病 发 作 的 概率 。 通 常情 况 下 ， 医 生 只 会 用 
30 秒 的 时 间 来 观看 用 户 的 心电图 数据 ， 而 且 缺 乏 对 之 前 数据 的 比较 
分 析 ， 这 使 医生 对 70% 的 心脏 病 患者 再 度 发 病 缺 乏 预 判 ， 而 现在 通 
过 机 硕 学 习 和 数据 挖 握 ， 该 模型 可 以 通过 累积 的 数据 进行 分 机 ， 发 
现 高 风险 指标 。 


【案例 解析 】 


从 本 案例 可 以 看 到 ， 将 小 数据 运用 到 医学 上 对 于 患者 病情 的 预测 
和 控制 会 有 巨大 作用 。 当 然 ， 这 个 用 来 监测 个 体 的 心电图 数据 的 模型 


是 基于 医学 工作 者 多 年 来 的 临床 经 验 和 有 关心 脏 病 的 大 量 案例 建立 


的 。 但 我 们 需要 注意 的 古 ， 个体 患 心脏 病 的 影响 因素 主要 有 普遍 性 因 
素 和 针对 性 因 尼 两 方面 。 具 体 影响 因素 如 表 8-2 所 示 。 


表 8-2 个 体 患 心脏 病 的 影响 因素 


一 一 


影响 因素 具体 内 容 
外 界 因素 “| 如 慢性 低压 低 氧 引起 的 肺动脉 高 压 ， 感 染 导 致 的 心脏 病变 
二 手 烟 。 如 果 一 个 人 每 周三 次 ， 每 次 暴露 在 别人 吸烟 时 吐出 的 
吸烟 影响 “| 烟雾 30 分 钟 ， 那 么 他 患 心脏 病 的 风险 比 很 少 被 动 吸烟 的 要 高 
二 26%， 同 样 是 引起 心脏 病 的 常见 病因 
因素 资信 因素 | 融 心 脏 病 患者 发 生 于 同一 家 族 ， 其 病 种 相同 或 近似 ， 可 能 由 
“| 于 划 因 异常 或 染色 体 畸 变 所 致 。 这 就 是 心脏 病 的 病因 之 一 
向 结 因素 | 人 在 生气 的 时 候 体内 产生 对 血管 和 心肌 有 害 的 紧张 荷尔蒙， 使 
”| 血管 内 的 凝 块 容易 破裂 ， 导 致 突 发 心脏 病 病 因 的 出 现 


影响 因素 具体 内 容 
风湿 性 | a 网 
i 主要 在 风湿 热 感 染 后 ， 心 脏 输 膜 逐 渐 病 变 所 导致 之 异常 
心脏 病 
新 陈 代谢 或 三 尔 蒙 异 常 的 心肌 变化 等 ， 有 时 酮 酒 ， 药 物 亦 导致 
心肌 病 、 
心肌 变化 
先天 性 | | i ee 
a 可 能 与 母 杀 在 怀孕 早期 的 疾病 或 服用 的 药物 有 关 ; 与 遗传 有 关 
心脏 病 
针对 性 pe 抽烟 及 糖尿 病 ， 高 血压 等 导致 血管 硬化 狭窄 ， 使 血 流 受阻 ， 易 
因素 | 使 心肌 缺 氧 而 受 损 
人 心脏 肿瘤 表面 碎片 或 血栓 脱落 引起 栓塞 。 可 能 与 肿瘤 的 产物 、 
”| 腹 瘤 坏死 或 免疫 反应 有 关 
其 他 疾病 导 
高 血压 以 及 其 它 免 疫 机 能 异常 引起 之 血管 病变 等 
致 的 心脏 病 [ 梧 闪 已 免疫 机 能 异常 引起 之 血管 病变 
由 于 肺 、 胸 廊 或 肺动脉 血管 病变 所 致 的 肺 循 环 阻力 增加 、 肺 动 
肺 性 心脏 病 | ，、、 ee 
脉 高 压 、 进 而 使 右 心 肥厚 、 扩 大 ， 甚 至 发 生 右 心 肥 竟 


可 以 看 到 ， 上 表 中 的 吸烟 影响 、 遗 传 因素 、 和 情绪 因素 、 相 关 病 史 
等 影响 因素 都 与 个 体 的 小 数据 分 不 开 ， 因 此 在 建立 预测 模型 时 ， 应 将 
对 于 这 些 数 据 的 考量 纳入 目 变 量 中 ， 以 提升 模型 预测 的 准确 性 。 目 
前 ， 对 于 这 些 影响 因素 的 获取 和 考量 主要 通过 医生 问 询 或 者 填写 表格 
来 实现 ， 不 具备 实时 性 ， 并 且 由 于 病人 缺乏 对 目 身 病情 的 了 解 可 能 会 
出 现 判断 误差 。 因 此 ，2.0 时 代 下 的 小 数据 通过 开发 软 、 便 件 拉 术 ， 增 
加 用 以 感知 、 量 化 这 些 因素 的 设备 来 获取 相对 精确 的 个 体 数据 ， 能 够 
使 预测 模型 的 精度 大 幅 提高 。 


(三 ) 手表 成 为 小 数据 的 有 力 武 融 


【案例 8.2】 据 美国 心脏 学 会 说 ， 每 4 个 美国 人 中 就 有 1 人 患 高 
血压 ， 这 些 人 中 还 有 1/3 的 人 根本 没 意 识 到 这 一 高 风险 。 虽 然 每 个 
医生 都 会 为 患者 量 血压 ， 但 是 没有 几 个 人 会 24 小 时 监测 病人 血压 。 


2014 年 ， 新 加 坡 人 研究 人 员 发 明了 一 种 名 为 BPro 的 手表 式 血 压 计 
(如 图 8-2 所 示 ) 。 只 要 戴 在 患者 的 手腕 上 ， 就 能 够 24 小 时 连续 监 
探 血 压 。BPro 通 过 内 部 的 传感器 计算 手腕 上 动脉 跳动 的 次 数 ， 再 转 
换 成 血压 读数 。 除 了 可 以 显示 血压 读数 之 外 ， 波 浪 形 曲 线 还 可 表明 
心脏 跳动 的 频率 和 力度 。 


图 8-2 BPro 手 表 式 血压 计 


【案例 解析 】 


从 本 案例 可 以 看 到 ， 可 穿戴 设备 逐渐 走 入 了 监测 个 体 体 征 的 主流 
设备 行列 中 。 以 手表 式 血压 计 为 代表 的 可 罕 戴 设备 的 最 大 特点 并 不 是 
简化 了 测量 人 体 生命 体征 的 步骤 和 方法 ， 而 在 于 其 能 够 连续 获取 数据 
并 将 数据 积累 起 来 。 这 对 于 个 体 和 医疗 机 构 认 知 健康 状况 具有 十 分 重 
大 的 意义 。 以 手表 式 血 压 计 为 例 ， 由 于 人 们 在 医院 测量 血压 时 ， 紧 张 
的 心情 、 上 下 楼 梯 造 成 的 运动 状态 都 可 能 导致 血压 异 第 ， 因 此 以 单 次 
测量 的 血压 状况 代表 生活 常态 可 能 是 有 所 偏 左 的 。 可 罕 戴 设备 通过 个 
体 的 罕 戴 行为 实现 连续 监测 ， 大 大 减 小 了 单 次 测量 造成 的 误 蚤 ， 逐 步 
形成 对 个 体 血压 及 其 他 体征 的 认 知 和 理解 ， 这 才 是 小 数据 的 职 贡 和 使 
命 所 在 。 


三 、 智 能 化 学 习 


(一 ) 量化 目 我 与 学 习 管理 的 应 用 场景 


随 厦 大 数据 的 发 展 ， 科 技 产 业 受 到 深刻 有 影响， 教育 产 业 也 不 例 
外 。 一 些 大 学 录取 办 公 室 称 ， 利 用 大 数据 算法 ， 能 在 录取 前 预测 哪些 
申请 者 能 取得 更 好 的 学 习 成 绩 。 而 在 教师 方面 ， 两 家 教育 机 构 表 示 能 
通过 预测 分 析 ， 在 教师 实际 授课 前 评估 其 能 够 取得 的 教育 效果 。 但 
征 ， 需 要 注意 的 是 ， 大 数据 能 够 实现 的 种 种 预测 与 分 机， 对 个 体 了 解 
目 己 的 学 习 能 力 、 改 善 目 己 的 学 习 方 法 、 调 整 目 己 的 学 习 心 态 却 是 不 
足 的 。 真 正 能 够 伴随 学 生成 长 学 习 、 从 生活 中 的 点 点 滴 滴 来 指点 学 生 
提高 思想 层次 的 ， 只 有 和 个 体 轧 轧 相 关 的 小 数据 。 


美国 新 媒体 联盟 2014 高 等 教育 版 《地 平 线 报告 》， 预 判 量化 自我 
将 是 未 来 对 高 教 发 展 产 生 重要 影响 的 教育 技术 之 一 。 量 化 自我 ， 将 得 
到 越 来 越 多 量 身 定制 ， 甚 至 是 意外 惊喜 的 个 性 化 推荐 服务 。 对 于 未 来 
教育 的 发 展 ， 大 数据 时 代 的 量化 自我 ， 将 会 带 来 深刻 的 体验 式 学 习 变 
革 ( 见 表 8-3) 。 


表 8-3 小 数据 在 个 人 学 习 管理 中 的 应 用 场景 


应 用 场景 数据 内 容 具体 作用 


将 教师 、 学 生 和 家 长 之 间 
联系 起 来 ， 有 反映 学 生日 常 
学 习 情况 


易 错 点 整理 、 思 维 导 图 及 | 知识 点 、 课 堂 笔记 、 作 业 、 
课 后 辅导 测验 、 考 试 竺 


课堂 回答 人 次 、 课 堂 回答 | 课堂 学 习 情况 的 实时 检查 、 
内 容 、 学 生 眼 神 反馈 等 。 | 量化 授课 效果 


课堂 反馈 情况 监测 


以 行为 评价 和 学 习 诱 导 关 

学 生 基本 情况 、 课 程 内 容 、 | 请 行为 评价 和 学习 话 引 放 

在 线 教育 sree 特点 不 断 延 伸 知识 的 边界 ， 
床 性 过 及 、 二 性 戏 术 征 gs 

es Ee 提升 特定 领域 的 专业 能 力 


向 无 法 上 实体 大 学 的 人 提 
数字 化 学 习 平台 电子 课程 内 容 、 作 业 、 同 学 ei nt ee 
-了 = 口 交流 数据 、 考试 与 测验 等 boi 义 1{ 负 会 、 量 
学 习 过 程 


(二 ) 小 数据 带 “ 课 堂 ”在 线 回 家 


【案例 8.3】 哈 佛 大 学 以 及 麻 省 理工 学 院 在 2012 年 联合 发 布 了 
一 款 非 营利 性 质 的 在 线 服务 一 edx。edX 平 台 在 2012 年 还 发 布 了 
课程 编辑 助手 Course Builder， 它 可 以 帮助 教育 机 构 编写 目 己 的 在 
线 课程 。 同 年 ， 美 国 的 顶尖 大 学 陆续 设立 网 络 学 习 平 台 ， 在 网 上 提 
供 免 费 课程 ，edx、Coursera、Udacity 三 大 课程 提供 商 的 兴起 ， 给 
更 多 学 生 提 供 了 系统 学 习 的 可 能 。 同 年 9 月 ， 人 谷歌 发 布 了 一 个 制作 
MOOC (Massive Open Online Course， 大 型 开放 式 网 络 课程 ) 的 平 
人 台 。 从 2014 年 起 ， 谷 歌 也 开始 与 edX 合 作 ， 强 强 联 合 推出 MOOC 在 
线 课 香 。MOOC 是 一 个 面 癌 教育 机 构 、 政 府 、 商 业 机 构 以 及 个 人 的 
在 线 教 育 平 台 ， 认 证 机 构 可 以 在 MOOC 上 推出 目 己 的 课程 。2014 年 
5 月 ， 中 国教 育 部 、 爱 课程 网 和 网 易 合 作 推 出 了 拥有 中 国 目 主 知识 
产权 的 MOOC 平 台 (中 国 大 学 MOOC) 。 


【案例 解析 】 


MOOC 是 一 种 新 型 的 学 习 和 教学 方法 ， 它 最 大 的 特点 在 于 打破 了 
传统 教学 对 于 师 生 聚集 在 同一 个 时 空 的 要 求 。MOOC 模 式 使 众多 人 同 
时 参与 课程 ， 且 不 局 限于 单纯 的 视频 授课 ， 还 可 以 横 跨 博客 、 网 站 、 
社交 网 络 等 多 种 平台 ， 没 有 严格 的 时 间 规 定 。 我 们 为 什么 认为 以 
MOOC 为 代表 的 新 兴 在 线 教育 课程 对 个 体 来 说 是 一 个 小 数据 问题 呢 ? 
其 实 很 简单 ， 因 为 MOOC 使 个 体 有 更 多 的 选择 权 。 它 提供 丰富 、 专 业 
的 学 习 资 源 ， 在 一 定 程度 上 消除 了 地 区 、 学 校 以 及 学 历 差异 造成 的 教 
育 资源 失衡 ， 为 个 体 带 来 了 更 多 自主 学 习 、 交 流 的 机 会 ， 在 相对 平 
等 、 充 足 的 教育 资源 的 供给 背景 下 ，MOOC 让 学 习 者 自己 创造 内 容 ， 
实际 上 是 让 个 体 在 MOOC 平 台 上 根据 自身 职业 、 追 求 等 需要 塑造 个 性 
化 的 学 习 方式 和 内 容 ， 一 方面 让 学 习 者 的 学 习 管理 更 加 具有 能 动 性 ， 
另 一 方面 学 习 者 可 能 会 觉得 茫然 没有 头绪 ， 教 学 效果 可 能 不 理想 。 不 
过 ， 毫 无 疑问 的 是 ， 小 数据 能 够 使 MOOC 课 程 更 加 注重 和 学 习 者 之 间 
的 良性 互动 ， 从 而 提升 课程 质量 或 增加 对 授课 形式 的 设计 。 


(三 ) 小 数据 让 学 习 更 加 “ 知 芒 ” 


【案例 8.4 】 渴望 学 习 ” (Desire 2 Learn) 是 一 家 总 部 位 于 加 
拿 大 安大略 省 沃 特 卢 的 教育 科技 公司 ， 它 推出 了 基于 过 去 的 学 习 成 
绩 数 据 预 测 并 改善 其 未 来 学 习 成 绩 的 服务 项 目 。Desire 2 Learn 公 司 
的 新 产品 名 为 “学 生成 功 系 统 ”(Student Success System) ， 该 产品 
通过 监控 学 生 阅 读 电子 化 的 课程 材料 、 提 交 电 子 版 的 作业 、 在 线 与 
同学 交流 、 完 成 考试 与 测验 ， 就 能 让 计算 程序 持续 、 系 统 地 分 析 每 
个 学 生 的 教育 数据 。 

据悉 ， 加 拿 大 和 美国 的 1 000 多 万 名 高 校 学 生 正在 使 用 “学 生成 
功 系 统 ” 来 改善 学 习 成 绩 。 


【案例 解析 】 


从 本 案例 可 以 看 到 ， 小 数据 能 够 使 个 人 的 学 习 过 程 变 得 更 加 入 
功 。" 学 生成 功 系统 ”的 建立 依托 的 是 海 量 的 课程 数据 与 复杂 的 反馈 系 
统 的 设计 ， 但 其 秉承 个 性 化 学 习 的 理念 对 每 位 同学 的 学 习 过 程 进行 分 
析 ， 实 际 上 是 用 一 种 标准 化 的 方法 汲取 个 人 异 质 性 的 数据 。 这 些 个 体 
数据 对 于 学 生 的 量化 学 习 具 有 非常 重要 的 意义 。 利 用 “学 生成 功 系 
统 ”， 老 师 得 到 的 不 再 是 过 去 那 种 只 展示 学 生 分 数 与 作业 的 结果 ， 而 是 
像 阅读 材料 的 时 间 长 短 等 更 为 详细 的 重要 信息 。 因 此 ， 老 师 可 以 及 时 
察觉 问题 的 所 在 ， 提 出 改进 建议 ， 并 预测 学 生 的 期 末 考 试 成 绩 。 

“学 习 成 功 系统 ”中 的 各 类 小 数据 ， 能 够 为 每 一 位 学 生 都 创设 一 个 
量 映 定做 的 学 习 环境 和 相对 个 性 化 的 课程 ， 其 中 最 突出 的 小 数据 特征 
忠 古 一 一 以 一 种 简便 的 方式 实现 了 学 生 与 数字 化 学 习 平 台 之 间 的 “人 机 
互动 "， 通 过 对 输入 平台 中 的 各 种 数据 能 够 提取 只 属于 使 用 者 一 人 的 学 
习 方 法 和 特点 ， 从 而 因材施教 ， 进 行 针 对 性 教学 。 并 且 ， 它 能 够 创建 
一 个 早期 预警 系统 以 便 发 现 开 除 和 辍学 等 潜在 的 风险 ， 为 学 生 的 多 年 
学 习 提供 一 个 富有 挑战 性 而 非 逐 渐 大 倦 的 学 习 计 划 。 


四 、 智 能 化 医疗 


(一 ) 小 数据 在 医疗 中 的 应 用 场景 


在 医学 思想 上 ， 中 医 主张 从 人 体 的 全 局 认识 疾病 ， 采 取 的 治疗 措 
施 不 仅仅 因 病 而 异 ， 还 因 人 、 因 时 、 因 地 而 异 ， 西 医 主 张 的 则 是 完全 
确定 性 ， 也 就 是 可 以 从 人 体 的 组 成 完全 确定 人 体 疾 病 的 根源 ， 因 而 可 
以 有 针对 性 地 实施 治疗 。 


谈 大 小 数据 与 中 西医 之 间 的 类 比 关 系 ， 我 们 知道 ， 西 医 根据 化 难 
结果 或 其 他 科学 仪器 测试 得 到 的 结果 进行 诊断 。 例 如 ， 人 和 人们 第 说 日 血 
球 计数 高 于 10 就 十 发 伙 ， 这 十 有 科学 根据 的 ， 大 量 试验 样本 的 观察 结 
条 都 是 如 此 。 这 征 从 大 数据 里 得 到 的 结论 。 但 中 医 不 同 ， 根 据 望 、 
闻 、 问 、 切 ， 推 师 应 该 用 什么 药 ， 绥 解 病情 。 根 据 服 药 以 后 的 情况 ， 
随时 调整 药方 。 这 是 一 对 一 的 ， 不 能 根据 别人 的 脉搏 来 诊断 病情 。 这 
忠 像 局 用 病人 的 个 人 数据 资料 室 一 样 ， 是 典型 的 小 数据 问题 。 有 很 多 
人 因为 中 医 的 诊断 手段 在 科技 上 比较 落后 而 诉 病 中 医 的 科学 性 ， 这 十 
很 片面 的 。 正 统 中 医 是 积 演 中 国 几 于 年 的 文化 ， 经 过 一 代 又 一 代 中 国 
行医 移 奉 不 断 探 索 、 总 结 出 来 的 精华 。 比 如 ， 张 仲 景 所 著 的 《伤寒 好 
病 论 》 总 结 的 也 十 过 去 几 千 年 的 前 人 经 验 。 从 千 百 万 次 观察 归纳 出 假 
设 ， 青 经 过 长 期 考验 ， 临 床 确实 无 误 的 才 上 升 为 中 医学 说 ， 因 而 中 医 
同样 是 科学 。 西 医 以 大 量 的 化 学 试验 为 基础 ， 而 中 医 则 奉行 “神农 笑 百 
草 ” 式 的 摸索 道路 ， 主 张 状 证 施 治 。 从 《本 草 纲目 》 中 可 能 得 到 某 种 草 
药 搭配 能 治 某 种 病 ， 某 病人 服用 了 ， 有 效 则 继续 ， 无 效 则 调整 药方 。 
同样 的 病症 对 不 同 的 人 ， 用 药 可 能 不 同 ， 至 少 剂量 会 不 同 ， 完 全 根据 
个 人 不 同情 况 处 理 。 


因此 ， 大 数据 是 科学 ， 小 数据 同样 是 科学 。 中 医 这 种 个 性 化 服 
务 ， 对 于 有 些 老 年 人 、 有 些 病 ， 在 特定 条 件 下 是 最 适合 也 是 最 有 效 
的 ， 但 在 面 对 抢 救 、 手 术 等 情形 时 却 无 能 为 力 。 医 学 是 复杂 的 ， 病 人 
在 治疗 过 程 中 选择 中 医 诊 断 或 是 西医 诊断 原本 束 是 一 个 小 数据 问题 。 
因而 ， 我 们 在 探讨 中 医 和 西医 时 ， 应 重点 关注 两 者 不 同 的 应 用 场景 。 
表 8-4 大 致 对 两 者 的 应 用 场景 进行 了 区 分 和 明确 。 


表 8-4 中 医 与 西医 的 应 用 场景 、 数 据 内 容 及 具体 作用 


应 用 场景 数据 内 容 具体 作用 
通过 对 个 体 进行 整体 、 
疾病 预防 、 调 理 身体 、 | 望 、 闻 、 问 、 切 等 观察 | 全 面 的 观察 对 病症 的 机 
慢性 病 、 全 身 性 疾病 等 | 数据 理 进行 认识 ， 从 根源 组 

Fh 解 病症 
疑难 杂 症 、 跌 打 损 伤 、 | 体质 数据 、 药 材 数据 及 | 多 方 数据 结合 形成 中 医 
接 肯 疗 疮 、 不 孕 不 衣 。 | 食材 等 数据 “十 方 子 ”， 起 到 奇效 


急症 、 絮 官 损 伤 等 局 部 | 血 常规 .X 交 、CT、 肠 镜 、| 治疗 周期 短 ， 局 部 治疗 
右 质 上 的 病变 DNA 结构 等 速度 较 快 、 效 果 民 好 


西医 
手术 、 需 官 移植 、 整 容 | 配 型 结果 、 排 异 反应 、 | 挽救 生命 、 彻 底 消 灭 病 


等 复 健 数据 等 变 器 官 等 


(二 ) 小 数据 是 中 医 领域 智能 医疗 的 前 提 


【案例 8.5 】2016 年 10 月 ， 百 度 推出 百度 人 工 智 能 在 医疗 领域 
内 的 最 新 成 果 “ 百 度 医 疗 大 脑 *。 百度 医疗 事业 部 总 经 理 李 政 透 露 ， 
未 来 将 可 能 发 布 “ 中 医 版 "的 百度 医疗 大 脑 ， 目 前 百度 医疗 中 医大 数 
据 知 识 库 已 经 有 1 000 余 本 中 医 古 籍 、1.1 万 种 中 欧 、10 万 方剂 及 10 
余 万 种 中 医药 术语 。 百 度 希望 借助 这 些 信息 ， 通 过 图 像 识 别 和 文献 


挖掘 ， 结 合 望 、 邮 、 问 、 切 的 智能 可 穿戴 设备 ， 实 现 中 医 的 智能 问 


诊 。 


同年 ， 阿 里 巴巴 旗下 的 阿里 健康 与 辽宁 、 吉林、 和 宁夏、 云南 、 
山东 、 浙 江 、 安 徽 等 滋补 品 核心 产 区 政府 、 企 业 和 行业 协会 签署 协 
议 ， 建立“ 滋补 中 国 追 溯 体 系 ?”， 这 些 地 区 出 产 的 枸杞 、 虫 草 及 三 七 
等 部 分 滋 补品 及 中 药材 ， 消 费 者 通过 手机 扫 码 的 形式 ， 就 可 得 知 药 
材 的 采摘 、 加 工 、 生 产 等 信息 。 


【案例 解析 】 


当前 在 中 医 领 域 的 智能 医疗 已 经 成 了 一 个 非常 重要 的 话题 ， 我 们 
看 到 ， 巨 头 已 经 开始 行动 ， 但 是 从 案例 来 看 ， 巨 头 们 似乎 在 做 的 还 是 
一 个 围绕 “大 数据 ?的 中 医 解 决 方案 ， 不 过 这 些 围绕 大 数据 进行 的 数据 
挖 据 ， 语 义理 解 与 知识 图 谱 等 工作 ， 其 实 更 多 是 为 之 后 的 小 数据 分 析 
打 基 础 。 因 为 中 医 这 门 学 问 ， 从 根本 上 来 讲 并 不 是 一 个 大 数据 问题 。 
中 医 讲究 的 是 望 、 闻 、 问 、 切 ， 是 全 面 观 察 个 体 后 形成 的 小 数据 分 析 
结论 ， 而 大 数据 讲究 的 以 全 量 数据 说 话 ， 全 量 数据 分 析 有 一 个 很 重要 
的 特征 惑 是 忽视 因 采 性 ， 只 找 相 关 性 。 但 中 医治 疗 本 身 一 定 要 具有 因 
果 性 才 行 ， 只 找到 号 了 某 颗 草药 肚子 吏 不 疼 了 这 种 相关 性 是 不 足 为 信 
的 。 

从 本 质 上 讲 ， 中 医 是 将 个 体内 部 全 系统 的 运动 变化 与 个 体 行 为 相 
联系 、 相 结合 ， 从 而 找到 病因 、 病 证 和 解决 方案 之 间 的 联系 。 对 于 中 
医 来 说 ， 望 、 邮 、 问 、 切 是 获得 个 体 数 据 的 重要 途径 ， 也 十 医 者 判断 
病情 的 最 主要 依据 。 以 手 诊 为 例 ， 每 个 人 的 手掌 纹路 、 青 筋 等 小 数据 
都 反映 出 了 全 号 多 个 脏 需 的 运行 状况 。 医 生 由 此 结合 病变 的 部 位 判断 
其 性 质 、 政 证 的 虚实 、 盛 彭 ， 因 正 而 立法 ， 依 法 而 选 方 ， 随 方 而 遭 
药 ， 真 正 贯 穿 理 、 法 、 方 、 药 的 基本 步 驴 ， 才 能 以 常 测 变 。 小 数据 在 
中 医 中 的 运用 一 定 程度 上 解决 了 医 患 之 间 信 息 不 对 称 的 问题 ， 使 病情 


能 够 得 到 更 有 效 的 医治 ， 这 也 十 中 医 领域 里 佑 能 医疗 所 必须 遵循 的 前 


所。 


一 、 认 知 的 革命 


(一 ) 小 数据 与 预见 世界 


传统 意义 上 的 小 数据 是 通过 目前 主流 软件 工具 可 以 在 合理 时 间 内 
采集 、 人 存储 、 处 理 的 数据 集 。 经 典 的 数理 统计 和 数据 挖掘 知 识 ， 可 以 
较 好 地 解决 这 类 问题 。 而 大 数据 时 代 下 的 小 数据 ， 是 一 类 新 兴 的 数 
据 ， 它 是 以 个 人 为 中 心 的 全 方位 的 数据 ， 是 我 们 每 个 个 体 的 数字 化 信 
尽 ， 因 此 ， 也 有 人 称 之 为 “iData”。 这 类 小 数据 跟 大 数据 的 根本 区 别 在 
于 ， 小 数据 主要 以 单个 人 为 研究 对 象 ， 重 点 在 于 深度 ， 即 对 个 人 数据 
深入 的 精确 的 挖掘 ， 而 大 数据 则 侧重 在 某 个 领域 方面 ， 在 大 范围 、 大 
规模 全 面 数据 收集 处 理 分 析 ， 侧 重 在 于 广度 。 


小 数据 更 加 “以 人 为 本 ， 认 识 一 切 数据 存在 的 根本 ， 人 的 需求 古 
所 有 科技 变 音 的 动力 。 可 以 预见 ， 在 不 久 的 将 来 ， 数 据 单 命 下 一 步 将 
进入 小 数据 时 代 。 通 过 数据 分 析 提 高 销售 水 平和 服务 质量 ， 是 企业 未 
来 发 展 的 重要 手段 。 目 前 ， 我 国 小 数据 的 分 析 和 应 用 虽然 处 于 初级 阶 
段 ， 但 是 有 不 少 企业 已 经 可 以 对 现 有 数据 熟练 地 进行 全 面 分 析 ， 并 且 
可 以 全 面 把 握 数 据 中 的 变量 ， 充 分 利用 小 数据 分 析 结 果 对 公司 进行 发 
展 预 测 。 不 难看 出 ， 这 些 企业 没有 走 大 数据 路 线 ， 而 古 反 其 道 而 行 
之 ， 走 起 了 小 数据 分 析 和 应 用 路 线 ， 并 且 将 小 数据 应 用 于 企业 运营 过 
程 中 ， 结 合 小 数据 的 人 文 因 素 ， 引 入 社会 和 心理 等 因素 ， 能 够 全 方 
位 、 多 维度 地 进行 分 析 ， 因 此 得 到 的 结果 将 更 加 准确 。 这 也 是 未 来 小 
数据 的 发 展 方向 和 趋势 。 

另外 ， 为 了 使 得 小 数据 的 分 析 能 够 更 加 精准 、 准 确 ， 进 而 能 够 做 
出 更 加 有 预测 性 、 有 价值 的 决策 ， 使 其 应 用 于 企业 运营 过 程 中 ， 小 数 


据 预测 对 人 才 也 提出 了 要 求 : 有 统计 学 、 商 业 分 析 和 自然 语言 处 理 能 
力 ， 能 够 全 面 掌握 数学 、 统 计 学 、 计 算 机 等 更 多 方面 的 知识 。 


(二 ) 认 知 音 命 时 代 


人 类 社会 将 迎 来 认识 单 命 的 新 时 代 。 随 着 这 个 时 代 的 到 来 ， 小 数 
据 和 大 数据 都 将 面临 全 新 的 机 遇 与 挑战 ， 尤 其 是 大 数据 ， 面 临 着 “ 何 去 
何 从 ”的 抉择 。 认 知 章 命 的 根本 是 “ 极 数 定 象 ”” 对 此 ， 我 们 需要 有 更 深 
刻 的 认识 与 理解 。 


回 望 历史 ， 我 们 的 祖先 在 长 期 的 生产 和 生活 过 程 中 ， 在 面 对 天 灾 
人 和 视 的 威胁 和 生老病死 的 无 奈 时 ， 他 们 海 望 能 够 了 解 世 界 的 真相 与 规 
律 ， 把 握 目 己 的 命运 。 在 这 个 过 程 中 ， 他 们 壬 试 着 通过 蔷 草 、 包 甲 、 
牛 骨 等 进行 “占卜 ”， 布 望 能 够 实现 一 种 “天 人 之 间 ” 的 沟通 ， 并 借 此 获 
得 信息 ， 了 解 规 律 ， 掌 握 命运 。 这 是 人 类 预测 的 “ 温 沌 时 代 ”。 到 了 春 
秋 战 国 时 期 ， 古 人 在 《 易 经 》 的 研究 过 程 中 ， 提 出 了 “极其 数 ， 遂 定 天 
下 之 象 * 的 思考 ， 这 不 仅 是 对 “大 数据 ”的 最 早 的 经 典 诠释 ， 也 是 对 “小 
数据 ”的 高 度 概 括 ， 这 让 我 们 不 禁 对 古人 的 智慧 ， 心 生 和 敬 且 与 赞叹 。 


“极其 数 ， 遂 定 天 下 之 象 ” 的 关键 和 前 提 是 “ 极 ”。“ 极 ”意味 着 最 高 
点 、 尽 头 、 极 点 、 极 限 和 顶端 ， 意 味 着 全 部 和 完整 。 古 人 认为 “ 极 ” 是 
宇宙 运动 变化 过 程 中 的 一 个 周期 时 限 ， 是 时 间 的 最 大 单位 和 最 高 层 
次 , “一 极为 31920 年 。“ 极 ” 意 为 时 相 之 尽头 ， 故 有 “太极 ”之 说 。 作 为 
动词 , “ 极 ” 意 味 着 穷 、 竭 、 究 ， 到 达 极 致 。 因 此 ， 从 认 知 的 角度 
看 , “极其 数 ” 的 “ 极 ”>， 首 先 ， 是 对 “ 数 ” (信息 ) 、“ 量 ”的 观察 ， 即 信息 
的 完整 性 ， 也 是 所 请 的 “大 数据 *， 其 次 ， 是 对 “ 数 ” (信息 ) 、“ 质 ”的 
观察 ， 即 信息 的 深刻 性 ， 也 就 是 所 谓 的 “小 数据 ”。 


作为 “ 极 * 的 重要 前 提 和 基础 ， 首 先是 基于 全 局 的 观察 (大 数 
据 ) 。 男 外 ， 我 们 还 想 观 察 每 一 个 局 部 (小 数据 ， 因 为 “ 极 ” 都 是 相 


对 的 。 由 于 认 知 的 局 限 ， 人 们 往往 容易 被 当下 (大 数据 ) 和 自我 (小 
数据 ) 所 局 限 ， 犯 7“ 管 中 帘 豹 “一 叶 障 目 ” 的 错误 ， 却 浑然 不 知 ， 其 
至 目 以 为 是 。 但 无 论 如 何 ， 人 要 学 会 建立 起 一 种 敬 展 ， 即 对 “未 知 的 末 
知 ” 的 敬 芋 ， 对 时 空 的 敬 莱 ， 同 时 ， 要 学 会 不 断 突 破 目 我 ， 不 被 束 强 。 
用 中 国 古 人 的 意境 表述 是 “会 当 次 绝顶 ， 一 览 众 山 小 *。 人 ， 只 有 站 到 
了 高 处 (大 数据 ) ， 才 能 更 全 面 和 更 彻底 地 观察 与 认识 目 我 (小数 
据 ; 。 但 即使 是 这 样 ， 还 要 清醒 地 认识 到 : 我 们 仍然 可 能 是 真相 “ 范 范 
大 汉 ” 中 的 一 只 蚂蚁 。 


(号 ) 算法 肝 和 代 


随 着 科技 的 发 展 ， 特 别 是 量子 理论 和 量子 信息 科学 的 发 展 ， 人 类 
储 会 将 迎 来 “算法 时 代 ”。“ 算 法 时 代 ” 最 重要 的 关键 词 是 “维度 ”“ 速 
度 ”。“ 维 度 ”， 即 数据 ， 即 信息 的 维度 (颗粒 度 ) ; “速度 "， 即 处 理 数 
所 ， 即 信息 的 速度 。 


“算法 有 时代” 十 一 个 不 断 接近 真相 的 时 代 ， 因 为 ， 认 知 科学 的 本 质 
是 计算 科学 。 作 为 计算 科学 的 重要 基础 是 “数据 可 能 ”与 “计算 〈 算 力 ) 
可 能 ”。 还 记得 那 只 “ 认 知 大 济 中 的 蚂蚁 * 吗 ?从 “数据 可 能 ”的 角度 看 ， 
人 类 目前 的 认 知 是 : 我 们 掌握 的 信息 只 是 “全 部 ”信息 的 5%， 因 此 ， 我 
们 的 “无 知 ” 要 远 远 大 于 “已 知 ”。 但 随 看 “信息 爆炸 ”时 代 的 到 来 ， 随 
着 “大 数据 ”的 出 现 ， 人 类 能 够 获得 的 信息 将 不 断 扩大 ， 这 种 扩大 不 仅 
征 数 量 ， 更 有 “颗粒 度 ”、 维度 ， 为 “数据 可 能 ”提供 巨大 的 想象 空间 。 
从 “计算 可 能 ”的 角度 看 ， 随 着 科技 的 发 展 ， 尤 其 是 量子 技术 的 应 用 ， 
人 类 的 计算 能 力 将 迎 来 “超级 计算 时 代 ”， 并 迎 来 “指数 级 ”的 进步 与 路 
越 。 面 对 一 个 “ 亿 亿 亿 ” 的 计算 ， 按照 现在 的 计算 能 力 ， 可 能 需要 100 
年 ， 而 如 采用 量子 计算 机 ， 可 能 只 要 0.01 秒 , “计算 可 能 ”是 所 有 可 能 
的 基础 。 


计算 科学 的 进步 带 来 的 计算 能 力 提升 将 成 为 未 来 社会 的 “决定 性 能 
力 ”， 它 对 于 人 类 社会 的 影响 可 能 超过 20 世 纪 的 “核能 力 "， 成 为 财富 再 
分 配 的 重要 因素 ， 甚 至 是 决定 力量 。 正 如 目前 已 经 开始 猎 露 头角 的 “ 知 
能 投 顾 *， 就 是 一 个 和 型 的 场景 。 未 来 ， 当 一 个 "基金 经 理 * 面 对 “智能 
投 顾 " 时 ， 就 可 能 像 当年 义和团 的 长 矛 大 刀 * 面 对 八国 联军 的 " 洋 枪 洋 
炮 " 一 样 ， 勇 气 虽 可 喜 ， 结 果 却 无 奈 ， 留 下 的 只 是 几 声 颗 吐 ， 几 声 感 
以。 

从 “数据 可 能 "的 角度 看 ， 随 着 感 测 技术 的 发 展 ， 能 够 实现 对 这 个 
世界 “更 加 透彻 的 感知 ”。 随 着 通信 技术 的 发 展 ， 能 够 实现 对 人 和 信息 
的 “更 加 全 面 的 互联 互通 ”。 因 此 ， 人 们 能 够 更 加 直接 、 微 观 、 立 体 、 
实时 和 动态 地 观察 世界 ， 同 时 ， 随 着 社会 的 全 面 数字 化 ， 我 们 将 迎 
来 “数字 生命 "和 “数字 社会 "时 代 ， 迎 来 数字 和 信息 的 “高 维 时 代 ”， 它 
意味 着 数字 化 的 与 生 俱 来 ， 意 味 着 数字 化 的 无 处 不 在 。 


从 “计算 可 能 ”的 角度 看 ， 随 着 量子 力量 的 发 展 与 应 用 ， 也 包括 纳 
米 技术 等 相关 科技 进步 的 “策应 ”， 信 息 撤 术 领 域 将 迎 来 日 命 性 的 欠 代 
进化 ， 具 体 表现 在 处 理 、 存 储 、 传 输 和 安全 四 大 领域 。 数 据 处 理 ( 计 
算 ) 能 力 是 核心 能 力 ， 因 为 ， 计 算 速 度 的 提升 不 仅 是 一 个 技术 指标 ， 
更 是 一 个 基础 理论 和 科技 进步 的 关键 指标 ， 并 且 ， 就 认 知 科学 ， 力 至 
整个 人 类 社会 而 言 ， 速 度 等 于 可 能 ! 在 基于 量子 技术 的 超级 计算 面 
前 ， 所 有 “数学 难题 " 均 是 “小 菜 一 碟 ”， 和 微不足道。 而 随 着 计算 能 力 的 
提升 ， 认 知 将 进一步 深化 ， 也 为 智能 化 芮 定 了 坚实 的 基础 。 

当 认 知 科学 领域 发 生 * 天 翻 地 才 ” 的 变化 时 ， 我 们 的 未 来 又 会 是 怎 
样 ? 认 知 早 命 ， 竺 别 是 “真相 时 代 ” 的 到 来 , “预测 ?将 被 < 预见 ?取代 ， 
那么 , “预见 未 来 "将 不 再 是 遥远 的 星辰 。 如 有 果 认 知 科 学 的 本 质 是 计算 
科学 ， 那 么 ,“ 大 数据 "和 "人 小 数据 ?” 争 竺 所 请" 大小” 的“ 江 调 地 位 ”意义 何 
在 ?但 我 们 需要 觉悟 的 是 : 此“ 数据” 非 彼 “数据 *。 面向 未 来 ,“ 大 数 
据 ” 和 “小 数据 ”将 开局 一 个 “全 新 故事 ”"， 一 个 “预见 未 来 ”的 故事 。 


(四 ) 信用 评 佑 


1830 年 ， 英 国 伦 救 第 一 家 现代 征 信 机 构 的 出 现 标志 着 资信 评 佑 行 
业 的 诞生 。 到 20 世 纪 初 ， 资 信 评 佑 行业 逐 送 形成 了 信用 评级 和 征 信 两 
大 相对 独立 的 分 文 ， 前 者 主要 服务 于 资本 市 场 ， 如 美国 的 标 普 、 中 国 
的 大 公国 际 等 公司 ， 后 者 主要 服务 于 借贷 市 场 ， 如 美国 的 FICO ( 费 埃 
哲 ) 公司 、 中 国 的 中 国人 民 银 行 征 信 中 心 等 机 构 。 


大 数据 是 信息 时 代 发 展 到 数字 化 阶段 的 结果 与 体现 ， 尽 管 对 于 大 
数据 以 及 大 数据 时 代 的 定义 还 存在 一 些 和 争议 ,但 是 大 数据 对 人 类 经 
济 、 社 会 、 思 想 、 文 化 等 领域 的 影响 与 冲击 则 征 有 目 共 睹 的 ， 并 且 这 
种 影响 日 益 深 刻 与 广泛 。 大 数据 时 代 的 一 个 突出 特征 束 是 信息 量 及 其 
增长 速度 的 飞速 提高 ， 同 时 信息 传输 方式 越 来 越 便捷 。 而 揭示 信用 风 
险 的 资信 评估 正 是 以 信用 信息 为 加 工 和 分 析 的 载体 ， 当 前 大 数据 对 传 
统 资 信 评 估 尤 其 是 对 企业 信用 评级 和 个 人 信用 评分 方面 产生 了 巨大 的 
仲 击 * 

同时 ， 大 数据 征 信 目 前 存在 一 些 困难 : 一 是 数据 的 虚拟 性 和 “信息 
噪声 ”。 虽 然 大 数据 及 其 分 析 提 高 了 信息 获取 的 数量 和 精度 ， 但 由 于 虚 
拟 世 界 中 信息 大 爆炸 造成 的 “信息 噪声 "”， 导 致 灾 易 者 身份 、 交 易 真 实 
性 、 信 用 评价 的 验证 难度 更 大 ， 反 而 可 能 在 另 一 层面 更 强化 信息 不 对 
称 程度 ， 也 更 容易 存在 信息 垄断 。 二 是 信用 数据 关联 的 不 确定 性 。 信 
用 数据 是 多 样 化 的 ， 包 括 朋 友信 用 、 爱 情 信用 、 事 业 信用 等 。 所 谓 叫 
学 不 能 两 全 ， 一 个 对 朋友 号 诚 的 人 不 一 定 对 事业 忠诚 ， 对 事业 或 工作 
号 诚 ， 也 不 一 定 能 说 明 他 的 金融 信用 好 。 大 数据 通过 日 音信 用 来 判断 
金融 信用 会 出 现 侦 过。 三 是 “数据 孤岛 ?不 能 实现 数据 共享。 互联 网 平 
台 具 有 强烈 的 规模 效应 ， 平 台 越 大 越 容易 产生 数据 ， 越 容易 使 用 数 
据 ， 但 是 大 平台 的 数据 ， 不 可 能 提供 给 其 他 公司 使 用 。 


因此 ， 虽 然 大 数据 征 信 能 够 降低 信息 不 对 称 性 ， 更 全 面 地 了 解 授 
信 对 象 ， 并 增加 反 欺 诈 能 力 ， 同 时 能 够 更 精准 地 进行 风险 定价 ， 但 目 


前 还 不 能 完全 取代 传统 征 信 。 大 数据 风 探 可 以 从 数据 维度 和 分 析 角 度 
提升 传统 风 控 水 平 ， 作 为 一 个 必要 的 补充 ， 可 以 让 传统 风 控 更 加 科学 
严谨 ， 但 是 真正 的 信用 评估 应 该 包括 传统 的 数据 〈 小 数据 ) 、 可 替代 
的 数据 (大 数据 ， 、 用 户 网 上 行为 数据 (小 数据 ) 、 社 交 网 络 信息 
(大 数据 ) 、 用户 自 己 回答 的 信息 (小 数据 ， 要 把 这 些 信 息 全 部 综 
合 起 来 才 可 以 事半功倍 。 


二 、 经 营 的 本 质 


(一 ) 企业 经 营 中 的 小 数据 应 用 场景 


我 们 每 一 个 人 生 在 这 世界 上 都 是 独一无二 的 ， 每 个 人 都 有 目 己 鲜 
明 的 个 性 和 特点 ， 这 是 由 我 们 每 个 人 与 众 不 同 的 DNA 序 列 所 决定 的 。 
通常 人 们 会 评价 一 个 人 乐观 、 善 民 、 敏 感 多 疑 、 热 情 、 有 和 贡 任 心 等 
这 些 都 是 一 个 人 的 个 性 标签 。 同样 ， 从 个 体 的 层面 看 ， 一 个 企业 也 算 
得 上 有 是 一 个 个 性 鲜明 的 “人 ”， 每 个 企业 都 有 目 己 独特 的 个 性 ， 我 们 一 
般 称 之 为 企业 文化 。 


企业 文化 是 一 个 企业 价值 观 的 集中 体现 ， er a 
一 个 目 己 的 图 腾 一 样 ， 有 的 图 腾 是 鹰 ， 有 的 图 腾 是 虎 ， 象 征 着 这 个 
落 独特 的 文化 和 信仰 。 企业 文化 是 一 个 企业 联系 企业 员工 和 加 强 企业 
凝聚 力 的 法 器 ， 随 着 时 间 的 变化 和 企业 的 发 展 ， 它 会 有 所 变化 ， 这 些 
共有 的 价值 观念 体现 也 决定 了 企业 员工 对 企业 的 看 法 和 对 社会 的 理 
解 。 当 然 ， 企 业 文 化 一 般 始 于 企业 创始 人 的 个 人 信念 和 远见 ， 创 始 人 
一 般 拥 有 独创 性 的 思想 ， 要 突破 一 个 行业 的 禁 铀 和 局 限 性 ， 才 能 创立 
一 个 独树一帜 的 公司 ， 在 市 场 上 占 得 一 席 之 地 。 为 了 使 创始 人 的 个 人 
信念 更 好 地 传递 给 企业 员工 ， 才 有 了 企业 文化 和 其 他 的 管理 制度 ， 通 
过 这 种 方式 影响 到 每 个 员工 ， 心 同一 处 想 ， 劲 往 一 处 使 ， 才 能 让 企业 
越 做 越 强 。 如 IBM 公 司 的 创始 人 托马斯 : 沃 森 ,虽然 于 1956 年 去 世 ， 但 
他 关于 人 研发 、 产 品质 量 、 报 酬 政 策 等 的 灼 见 ， 至 今 仍 体现 在 公司 的 日 
般 经 营 中 。 


不 同 于 企业 可 量化 的 财务 数据 、 房 产 规模 、 不 动产 价值 、 投 资 收 
益 等 ， 一 个 企业 的 企业 文化 、 管 理 制度 、 创 始 人 的 眼界 、 理 想 等 这 些 


每 个 企业 都 有 各 不 相同 的 个 性 特征 ， 是 一 个 企业 小 数据 的 集合 ， 虽 然 
我 们 可 以 从 企业 的 财务 报表 等 可 量化 分 析 的 数据 指标 去 分 析 一 个 企业 
的 经 各 效益 、 资 金 流动 状况 的 好 坏 ， 可 以 从 数据 结构 运用 大 数据 挖掘 
技术 去 分 析 这 个 企业 的 优势 劣势 ， 但 是 仅仅 从 大 数据 层面 去 评判 一 个 
企业 是 远 远 不 够 的 ， 数 据 只 能 体现 一 个 企业 短期 的 、 账 面 上 的 运营 状 
况 ， 但 对 企业 的 发 展 起 决定 性 作用 的 还 是 企业 文化 、 管 理 效 率 、 员 工 
质量 及 忠诚 度 等 这 些 不 可 完全 量化 的 小 数据 。 一 家 公司 可 能 近 几 年 运 
膏 民 好 ， 各 项 数据 指标 者 很 优秀 ， 但 是 决策 着 的 一 个 决策 失误 、 企 业 
管理 的 芒 名 和 低 效 ， 都 会 导致 这 家 公司 走 下 直路 ， 而 这 些 都 是 通过 大 
数据 难以 准确 发 现 和 确定 的 ， 但 是 小 数据 能 做 到 。 


(二 ) 企业 经 营 的 “大 环境 与 小 环境 ” 


【案例 9.1】 在 大 数据 时 代 ， 以 互联 网 为 代表 的 现代 信息 科技 
将 从 根本 上 改变 金融 运 这 模式。 数据 在 呈现 出 海量 化 、 多 样 化 、 传 
输 快 速 化 和 价值 化 的 变化 趋势 的 同时 ， 也 改变 了 传统 金融 行业 的 市 
场 苋 争 环境 、 宫 销 策 略 和 服务 模式 。 某 两 业 银 行 ， 基 于 客户 特征 集 
合 形成 的 客户 标签 有 成 百 上 千 甚 至 成 和 十 上 万 个 ， 这 些 标签 在 构建 时 
的 业务 目的 和 适用 场景 各 有 不 同 。 随 看 应 用 标签 的 场景 越 来 越 丰 
富 ， 该 银行 想 逐 渐 形成 一 套 完 整 的 客户 标签 体系 。2017 年 ， 该 银行 
提出 对 现 有 数据 库 进行 改造 、 奉 换 ， 升 级 为 大 数据 平台 ， 改 变 传 统 
的 数据 分 析 方 式 。 


【案例 解析 】 

随 看 “大 数据 时 代 ?” 的 来 临 ， 数 据 分 析 对 于 银行 的 重要 性 已 成 为 业 
界 的 共识 。 关 于 银行 大 数据 如 何 获 取 以 及 如 何 使 用 的 讨论 层出不穷 ， 
然而 ， 说 到 具体 应 用 又 另 当 别 论 了 。*“ 大 数据 分 析 ” 也 意味 着 高 成 本 的 


投入 ,与 其 距 路 于 是 否 花费 巨 资 做 到 面面俱到 ， 我 们 建议 不 妨 先 从 一 
些 投 入 产 出 比 高 的 “小 数据 ?分 析 入 手 。 


大 数据 实际 是 从 多 如 蛇 星 的 信息 中 抽取 出 对 客户 需求 、 态 度 和 行 
为 的 洞 见 ， 从 而 帮助 制定 高 度 涌 焦 的 精准 销售 和 市 场 营 销 活 动 。 这 样 
的 做 法 其 实 并 不 新 鲜 ， 早 些 年 市 场 营 销 人 员 就 已 经 开始 借助 对 已 有 数 
据 的 分 析 来 支撑 营销 项 目 。 


如 今 的 不 同 之 处 在 于 :由 于 信息 收集 、 储 存 和 分 析 技 术 的 发 展 和 
处 理 能 力 的 提升 ， 可 供 使 用 的 数据 和 种 类 都 已 呈 几 何 式 增 长 。 军 无 疑 
问 ， 这 些 新 的 信息 技术 为 获得 更 为 深入 而 复杂 的 客户 行为 数据 、 制 定 
更 为 精准 的 商业 战略 、 财 务 与 风险 管理 等 提供 了 极 大 的 可 能 性 。 


大 数据 项 目 同时 意味 着 大 量 的 成 本 投入 和 风险 。 例 如 ， 大 数据 项 
目 需 要 大 量 的 资金 和 人 力 投 入 ， 而 这 样 的 投入 往往 超出 大 部 分 银行 的 
可 接受 范围 。 此 外 ， 这 类 项 目的 有 效 性 主要 取决 于 对 前 期 假设 的 验 
证 ， 从 而 确立 算法 来 建立 预测 模型 。 然 而 ， 这 些 数 据 模 型 中 常 第 会 
现 偶然 和 不 同 数据 类 型 的 差异 性 ， 会 导致 后 续 验 证 工作 异种 困难 。 


然而 ， 如 此 面面俱到 的 分 析 任 务 并 不 一 定 能 够 提供 给 管理 层 足 够 
的 洞 见 ， 来 制定 改善 业务 绩效 的 措施 。 因 此 ， 我 们 建议 银行 将 有 限 的 
资源 投入 在 更 为 可 控 ， 且 投入 产 出 比 更 高 的 数据 分 析 维 度 上 ， 这 样 反 
而 会 产生 更 多 直观 的 收益 和 可 衡量 的 结 

更 好 的 分 析 结 果 对 利润 和 发 展 而 言 非常 重要 ， 关 键 在 于 如 何 选 择 
简单 而 又 有 力 的 分 析 方 法 ， 为 银行 的 主要 发 展 与 管理 指标 (财务 表 
现 、 客 户 、 市 场 信息 与 机 会 、 运 营 效 率 和 服务 渠道 的 优化 ， 来 提取 
更 有 实际 意义 和 可 操作 性 强 的 信息 。 


这 些 类 型 的 分 析 并 不 需要 复杂 的 公式 、 新 奇 的 技术 ， 也 不 需要 IT 
资源 过 多 的 投入 。 另 外 ， 这 些 数据 能 够 与 第 三 方 机 构 已 经 做 的 行业 标 
杆 数据 和 市 场地 域 信息 等 数据 进行 对 比 。 我 们 建议 银行 可 先 从 以 下 这 
五 个 方面 的 “小 数据 "分 析 开始 。 


(1) 财务 报表 


许多 银行 高 管 会 使 用 财务 数据 来 与 同行 进行 比较 ， 从 而 为 个 人 业 
务 战略 与 投资 方向 设 定 更 高 水 平 的 业务 与 页 献 度 指标 。 然 而 ， 这 样 的 
比较 必须 不 限于 高 水 乎 的 绩效 指标 ， 如 股本 回报 或 净利 润 收入 。 为 了 
让 数据 分 析 更 为 有 效 ， 还 需要 包括 其 他 驱动 因素 ， 如 存款 组 合 与 增 
长 、 赚 取 的 资产 及 运 宫 效率 等 指标 。 男 外 ， 还 需要 与 一 组 高 绩效 银行 
的 数据 进行 单独 比较 ， 并 对 所 选 高 绩效 银行 的 成 功 案例 进行 收集 ， 从 
而 更 为 全 面 而 深入 地 了 解 其 业务 策略 市 场 、 聚 焦点 和 运营 环境 等 成 功 
了 要么 。 


(2) 客户 


客户 是 银行 最 有 价值 的 资产 ， 大 部 分 银行 无 论 是 针对 个 人 银行 窜 
户 还 是 公司 银行 客户 ， 客 户 关 系 管理 系统 中 都 已 有 非常 多 的 可 供 分 析 
的 数据 ， 如 产品 渗透 率 、 余 额 情况 、 服 务 渠 道 的 活跃 度 、 利 率 和 风险 
偏好 等 。 


其 中 最 大 的 挑战 在 于 要 将 数据 形成 相应 的 模型 ， 从 而 帮助 识别 客 
尸 获取 、 交 文 销 售 和 客户 保留 的 机 会 ， 进 而 用 于 制定 市 场 营 销 抓 手 、 
销售 策略 以 及 客户 天 系 管理 相关 的 其 他 决策 。 在 这 些 客户 经 营 指 标 方 
面 ， 第 三 方 机 构 已 有 相应 的 行业 标杆 数据 ， 银 行 可 通过 将 本 行 数据 与 
行业 标杆 数据 比 对 之 后 ， 确 定 更 为 切实 可 行 的 绩效 改进 目标 和 学 习 对 
象 。 


(3) 市 场 


银行 的 战略 方向 和 业绩 水 平 很 大 程度 上 受制 于 其 所 服务 的 市 场 大 
小 、 规 模 及 其 构成 以 及 市 场 活 力 的 影响 。 因 此 ， 建 立 一 份 有 关 服 务 市 
场 的 档案 信息 非常 人 必要， 银行 能 够 从 中 制定 苋 争 策略 、 识 别 市 场 增长 
潜力 并 设 定 工作 的 优先 级 。 


理想 情况 下 ， 市 场 信息 档案 应 包含 当地 经 济 和 人 口 统计 信息 ， 预 
期 的 增长 空间 、 目 标 客 户 的 集中 度 等 数据 ， 因 为 这 些 数 据 将 会 直接 影 
咖 其 市 场 中 目标 客 群 的 细 分 、 人 金融 产品 的 使 用 行为 、 市 场 范 争 的 类 型 
和 竞争 微 烈 程 度 等 。 


银行 的 客户 基础 和 苋 争 水 平 ， 将 与 每 个 市 场 的 信息 进行 比 对 ， 增 
长 潜力 也 将 通过 客户 细 分 群体 和 产品 计算 出 来 。 这 样 的 分 析 能 够 帮助 
银行 识别 当前 在 哪些 市 场 产 品 和 细 分 客户 群体 的 渗透 率 较 低 ， 进 而 帮 
助 银 行 制定 相应 的 业务 战略 和 设 定 客户 获取 、 区 叉 销 售 和 客户 保留 等 
同 项 目的 优先 级 。 

同样 地 ， 市 场 分 析 应 该 服务 于 每 个 银行 网 点 的 服务 领域 。 这 样 的 
分 析 能 够 帮助 银行 网 点 确定 目 身 的 销售 目标 和 人 员 配 置 等 。 


(4) 运营 


改进 生产 力 和 效率 对 于 提升 财务 表现 至 关 重 要 。 其 实 ， 银 行 已 经 
有 大 量 能 够 判别 运 富 效率 和 跟 踩 绩效 表现 的 数据 ， 只 是 这 些 数 据 需 要 
更 好 地 进行 收集 、 组 织 和 分 析 。 运 各 效率 的 分 析 方 式 是 针对 文 持 部 门 
和 直接 面 问 客户 的 部 门 ， 选 取 一 定数 量 的 相关 指标 进行 分 析 与 排名 ， 
同时 还 可 再 与 行业 标杆 数据 进行 比 对 。 

这 项 分 析 的 目的 古 识 别 银 行 在 哪些 方面 与 同业 的 做 法 存在 着 差距 
以 及 痉 距 的 大 小 ， 同 时 还 将 有 助 于 银行 制定 相应 的 提升 策略 和 优化 措 
施 ， 以 便 达 到 改进 产能 与 效率 的 目标 。 


(5) 渠道 与 销售 


对 每 一 个 网 点 在 其 服务 范围 内 的 经 营 特 色 、 发 展 机 会 与 现状 进行 
分 析 ， 是 非常 有 必要 的 。 每 个 网 点 的 绩效 分 析 维 度 应 包含 ， 销 售 和 服 
务 活动 、 财 务 表 现 、 运 膏 成 本 、 人 员 配 置 水 平 与 人 员 构 成 ， 以 及 网 点 
的 活力 。 


我 们 建议 将 网 点 的 绩效 分 析 与 市 场 分 析 相 结合 。 这 样 做 能 够 帮助 
管理 层 对 市 场 营 销 经 费 的 分 配 、 人 员 配 置 水 平 ， 以 及 应 该 天 闭 哪 些 网 
点 、 在 什么 地 方 开 始 新 网 点 、 如 何 对 部 门 进行 重组 等 方面 做 出 更 为 合 
理 的 决策 。 

另外 ， 建 议 银 行 对 每 个 网 点 的 手机 银行 和 网 上 银行 的 黎 关 比例 进 
行 分 析 。 这 样 的 分 析 一 方面 能 够 与 同业 标杆 数据 进行 对 比分 析 ， 男 一 
方面 有 助 于 制定 更 为 有 效 的 市 场 俩 略 和 营销 项 目 。 

这 五 个 方面 的 分 析 能 够 相对 容易 地 开展 并 为 管理 者 、 投 资 人 和 并 
购 伙 伴 提 供 天 键 的 信息 。 对 于 大 部 分 银行 而 言 ， 将 有 限 的 资源 投入 在 
小 数据 分 析 上 而 不 是 昂 贯 的 大 数据 分 机 上 ， 实 则 更 为 合理 。 


三 、 信 用 的 价值 


(一 ) 小 数据 在 信用 评估 中 的 应 用 场景 


征 信 对 于 国人 来 讲 ， 在 2015 年 以 前 还 是 一 个 比较 阳 生 的 概念 。 目 
2015 年 初 央行 开局 个 人 征 信 市 场 化 喇 门 以 来 ， 征 信 势 如 破 竹 般 迅 速 进 
入 公众 视野 ， 并 通过 与 金融 、 商 业 、 消 费 、 生 活 等 场景 的 结合 ， 迎 来 
爆发 式 的 突进 。2015 年 1 月 ， 获 准 做 好 开展 个 人 征 信和 相关 业务 准备 工作 
的 八 家 民间 征 信人 公司， 取得 了 第 一 批 个 人 征 信和 牌照， 其 中 既 包 括 中 诚 
信 、 鹏 元 征 信 这 样 的 传统 征 信 公司 ， 也 包括 芝麻 信用 、 腾 讯 征 信 、 前 
海 征 信 这 些 背 靠 阿 里 、 腾 讯 、 平 安 集团 的 互联 网 征 信 公 司 。 加 之 百 
度 、 系 东 、 宜 信 等 公司 对 个 人 征 信 的 垂 旋 ， 以 及 企业 征 信 市 场 需求 的 
快速 增长 ， 整 个 征 信 市 场 诗 现 出 壹 艺 发 展 、 百 化 齐 放 的 态势 。 大 数据 
征 信 拓展 了 资信 评估 信用 信息 的 内 容 ( 详 见 表 9-1) 。 

表 9-1 传统 资信 评估 与 大 数据 资信 评估 在 信用 信息 上 的 比较 


项 目 大 数据 资信 评估 传统 资信 评估 


内 涵 一 切 信息 都 是 信用 信息 以 资产 负 全 类 信息 为 主 


民 


社交 网 络 、 电 商 网 络 、 移 动 


终端 、 征 信 机 构 
贷款 公司 、 零 售 商 、 公 用 事业 单位 等 


条 信息 
FICO 评分 只 ZestFinance 10000 多 条 信息 
数量 数量 有 限 “| 有 15~20 条 站 Wecash 闪 银 ”| 6000 个 数据 点 
| 和 
二 
i Kreditech 15000 个 数据 点 
类 型 以 非 结 构 化 数据 为 主 以 结构 化 数据 为 主 


(1) 拓展 了 信用 信息 的 来 源 。 传 统 资信 评估 的 信用 信息 来 源 主 要 
征 以 银行 为 主 的 金融 机 构 ， 如 私 避 商业 银行 、 上 市 商业 银行 、 开 发 银 
行 、 信 用 合作 社 、 财 务 公司 、 信 用 卡 发 卡 公司 、 贷 款 公 司 等 ， 另 外 也 
有 部 分 公用 事业 单位 。 因 此 ， 其 信用 信息 主要 是 金融 交易 记录 信息 ， 
这 一 点 在 中 国人 民 银 行 征 信 报 告 中 体现 得 也 非常 明显 。 而 大 数据 资信 
评 倍 的 信息 来 源 比较 广泛 ， 除 了 通过 征 信 机 构 获 得 传统 资信 评估 信息 
以 外 ， 主 要 借助 现代 通信 技术 ， 从 社交 网 络 、 电 商 网 络 、 移 动 终端 等 
获得 各 种 信用 信息 ， 并 且 这 些 网 络 来 源 的 信息 量 非常 大 。 


(2) 扩展 了 资信 评估 的 参考 变量 。 美 国 FICO 信 用 评分 指标 不 超 
过 50 人 个， 一般 包含 15~20 个 变量 ， 当 前 中 国人 民 银 行 的 个 人 信用 报告 仅 
包含 20 个 左右 的 变量 。 而 美国 的 ZestFinance 公 司 进 行 信用 评估 时 ， 采 
集 贷款 人 10000 多 条 信息 ， 最 后 六 选 出 7000 条 指标 变量 ;德国 的 
Kreditech， 采 集 15000 多 个 数据 点 ， 中 国 的 Wecash 内 银 软件 ， 采 集 到 用 
户 6000 个 数据 点 。 


(3) 增加 了 信用 信息 的 数据 类 型 。 根 据 存储 特征 ， 可 以 将 数据 分 
为 结构 化 数据 、 非 结构 化 数据 。 结 构 化 数据 具有 一 定 的 逻辑 结构 和 物 
理 结 构 ， 一 般 存 储 在 数据 库 中 ， 大 多 存储 在 关系 数据 库 中 。 结 构 化 以 


外 的 数据 即 为 非 结 构 化 数据 ， 大 多 以 文本 的 形式 存在 ， 不 能 存储 到 数 
据 库 中 ， 而 非 结构 化 数据 中 ， 有 一 部 分 又 具有 一 定 的 逻辑 结构 和 物理 
结构 ， 如 HTML ( 超 文 本 标记 语言 ) 、XML (可 扩展 标示 语言 ) 中 的 
一 些 数据 ， 即 属于 半 结 构 化 数据 。 传 统 信 用 信息 对 应 的 数据 基本 都 是 
结构 化 数据 ， 可 以 用 二 维 表 摘 述 ， 而 大 数据 时 代 的 信用 信息 大 多 是 非 
结构 化 数据 ， 难 以 用 传统 的 数据 库 储 在， 这 融 使 大 数据 资信 评 佑 的 数 
据 分 析 手 段 与 传统 资信 评估 区 别 较 大 。 


(二 ) 评 意 愿 还 是 测 能 力 


【案例 9.2】2015 年 8 月 12 日 ， 蚂 蚁 金 服 旗下 芝麻 信用 与 网 易 
旗下 单身 交友 社区 花田 达成 合作 ， 花 田 会 员 可 以 授权 开通 并 展示 芝 
左 信 用 分 ， 还 可 以 查看 交友 对 象 的 芝 碳 信用 分 ,力求 “诚信 交 
友 ” 杜 绝 狂 婚 ”。 仅 在 2015 年 的 上 半年 ， 几 家 民营 征 信 公司 就 已 迅 
速 完 成 组 织 建 设 ， 推 出 了 各 具 特 色 的 信用 评分 产品 ( 见 表 9-2) 。 
比如 ， 芝 兢 征 信 的 “ 芝 磋 分 * 和 考 拉 征 信 的“ 考 拉 分 ”已 经 应 用 到 酒 
店 、 租 车 、 旅 游 等 多 个 场景 ;前 海 征 信 的 “好 信和 度 ” 目 前 主要 服务 于 
金融 信贷 ， 华 道 征 信 已 推出 的 “ 猪 猪 分 ”专门 用 于 检验 租房 者 信用 状 
况 ， 中 诚信 的 “万 象 分 ? 则 可 以 用 于 束 医 、 保 险 领 域 。2016 年 ， 随 着 
共享 单车 等 “共享 经 济 " 产 品 的 火爆 ， 个 人 信用 分 成 为 了 租车 用 车 免 
押金 的 重要 依据 .…….. 

表 9-2 常见 的 市 场 化 征 信 产 品 介绍 


机 构 


主要 股东 


主要 数据 来 源 


征 信 产 品 


之 肝 信 用 


蚂蚁 金 服 


阿里 巴巴 的 电 商 数据 、 
蚂蚁 金 服 的 互联 网 金融 
数据 ; 合作 的 第 三 方 机 
构 提供 的 数据 ( 包括 公 
安 、 法 院 、 政 府 部 门 等 
提供 的 数据 ) 


信用 评分 服务 : 之 及 信 用 分 ， 
参考 国际 主流 的 信用 评分 模 
式 ， 综 合 考虑 包括 信用 历史 、 
行为 嗜好 、 有 履约 能 力 、 身 份 特 
质 、 人 脉 关系 五 个 维度 的 信息 


腾讯 征 信 


机 构 


考 拉 征 信 


腾讯 


QQ 的 社交 数据 、 财 付 通 
的 交易 数据 ; 合作 的 第 
三 方 机 构 提 供 的 数据 ( 包 
括 教育 、 交 通 等 数据 ) 


主要 数据 来 源 


拉 卡 拉 金 服 的 数据 、 其 
他 股东 的 数据 ; 合作 的 
第 三 方 机 构 提供 的 数据 
( 包括 公安 、 法 院 、 航 空 、 
教育 等 数据 ) 


反 其 诈 产 品 : 包括 人 脸 识别 和 
欺诈 测评 两 个 主要 的 应 用 场 
景 ， 主 要 服务 于 银行 、 证 券 、 
P2P 等 商业 机 构 

个 人 信用 报告 : 信用 等 级 采取 
打 星 的 形式 ， 综 合 考虑 用 户 的 
消费 偏好 、 资 产 构 成 、 身 份 属 
性 和 信用 历史 四 个 维度 


征 信 产 品 
信用 评分 产品 : 考 拉 信用 分 ， 
包括 个 人 信用 分 和 职业 信用 分 
考 拉 信息 验证 平台 : 对 借贷 人 
在 贷 前 、 贷 中 、 贷 后 进行 认证 、 
跟踪 和 审核 ， 为 互联 网 金融 平 
台 提 供 风险 保障 


【案例 解析 j 


平安 集团 的 数据 ; 合作 
金融 公司 提供 的 数据 


数据 产品 : 好 信 墨 名单 、 好 信 
度 (评分 产品 Credoo ) 、 好 信 
盔甲 〈 防 欺诈 平台 ) 

功能 性 插件 : 好 信 认 证 和 好 信 
易 申请 ( 识别 客户 身份 ) 


“信用 分 ?是 各 征 信 公司 通过 目 身 乎 台 和 外 部 抓 取 的 个 人 信息 数据 
进行 分 析 整 合 ， 对 个 人 的 消费 能 力 、 偿 债 能 力 和 还 债 意愿 等 做 出 的 综 
合 测 试 评分 数 。 数 据 类 型 五 花 八 门 ， 有 电 商 如 淘宝 、 天 猫 等 购物 数 
据 ， 第 三 方 文 付 的 交易 数 据 ， 通 信 、 水 、 气 等 缴费 及 其 他 公共 事业 数 
据 ， 社 区 数据 .…… 这 些 数 据 的 利用 和 分 析 有 赖 于 大 数据 技术 的 计算 和 
分 析 ， 因 此 个 人 征 信义 称 为 大 数据 征 信 。 征 信 本 质 上 是 从 信用 能 力 和 
信用 意愿 两 方面 分 析 ， 但 是 大 数据 征 信 真 的 能 同时 测评 这 两 方面 吗 ? 
银行 等 金融 机 构 的 信贷 数据 是 较 好 的 数据 ， 而 其 他 很 多 征 信 应 用 场景 
多 以 判断 主体 的 诚信 度 来 预 判 违约 可 能 ， 其 实质 只 帮助 判断 信用 评估 
里 的 主体 履约 意愿 问题 ， 而 不 能 正确 评估 更 重要 的 主体 履约 能 力 问 
题 。 大 数据 中 存在 几 方面 的 问题 ， 册 市场 中 很 多 模型 只 适用 于 自己 的 
小 生态 ， 应 用 场景 有 限 ， 数 据 共 至 、 平 台 开 放 可 能 性 不 大 ， 同 一 个 人 
在 不 同 平台 得 到 的 评分 可 能 会 干 差 万 别 ;@“ 征 信和 采集 者 与 使 用 者 没有 
任何 关系 ”的 原则 被 打破 ， 市 场 化 的 征 信 机 构 数据 的 采集 和 使 用 都 与 目 
吴平 台 使 用 有 着 千 丝 万 缕 的 联系 ， 既 做 裁判 又 做 选手 ， 最 终 评 价 的 公 
正 性 有 竺 商检 ;人 市 场 化 征 信 体 系 的 评估 范畴 尚 无 统一 权威 的 定论 ， 
征 信 的 范围 越 来 越 大 ， 如 交通 违章 、 地 铁 逃 票 等 。 这 些 行为 虽然 揭露 
了 个 人 品质 存在 的 问题 ， 但 并 不 征 金 融 属 性 的 数据 ， 与 还 款 能 力 和 和 意 
愿 并 没有 太 密 切 的 关联 ， 将 其 纳入 考虑 很 可 能 是 不 恰当 的 。 


四 、 军 事 的 科学 


(一 ) 军事 中 的 小 数据 应 用 场景 


在 军事 领域 ， 基 于 大 数据 的 战场 将 更 加 透明 、 决 策 将 更 加 高 效 、 
保障 将 更 加 精准 ， 对 军事 斗争 准备 和 总 体 战 略 部 署 的 意义 非 同 凡 啊 。 
大 数据 的 运用 能 够 帮助 军队 主动 跟 进 、 积 极 作为 ， 努 力 抢占 军事 斗争 
领域 的 制高点 。 但 是 在 具体 的 战斗 过 程 中 ， 由 于 战况 实时 变化 ， 因 此 
需要 决策 者 用 办 证 思维 来 全 面 审视 ， 切 实 找 准 提 升 作战 指挥 效能 的 着 
力 点 。 要 清醒 地 认识 到 ， 没 有 具体 单位 精准 可 靠 、 实 用 好 用 的 小 数据 
作为 战术 文 撑 ， 大 数据 的 一 切 分 析 预 测 便 是 海 市 古 楼 、 择 中 楼 净 ， 使 
军队 陷入 更 复杂 的 “感知 陷阱 ”。 


应 该 说 ， 当 前 中 国 军队 的 作战 数据 建设 还 比较 灌 后 ， 在 作战 任务 
规划 、 作 战 指挥 协同 、 战 场 态势 融合 等 核心 数据 系统 的 建设 上 存在 很 
多 簿 德 之 处 : 因循守旧 不 想 用 、 数 据 陈旧 不 能 用 、 复 杂 烦 琐 不 会 用 、 
担心 泄密 不 敢 用 ...... 因 此 ， 在 军事 领域 的 发 展 和 创新 过 程 中 ， 应 当 确 
立 大 数据 理念 ， 但 也 要 警惕 泛 大 数据 化 ， 冠 大 数据 之 名 ， 却 无 大 数据 
之 实 。 应 从 具体 单位 的 小 数据 入 手 推 进 大 数据 战略 ， 完 善 顶层 设计 ， 
强化 实践 检验 ， 为 精确 指挥 、 精 确 控制 、 精 确保 障 提供 有 力 支 撑 (如 
表 9-3 所 示 ) 。 

表 9-3 小 数据 在 军事 中 的 应 用 场景 


应 用 场景 数据 内 容 具体 作用 
“| 通信、 媒体、 与 论 、 卫 星 | 提高 情报 信息 处 理 效率 、 
Zs 提取 重 上 二 十 
| 获取 秘密 情报 
实 兵 对 抗 演习 、 理论 科学 、| 智能 化 寻找 数据 中 的 关 
数据 | 丰富 军事 科研 方法 
J 于 科研 万 法 | 计算 机 模拟 等 数据 联 ， 发 现 未 知 规律 
战略 目标 、 军 事情 报 、 作 | 变革 决策 思维 、 模 式 、 方 
确立 总 体 战略 方 
次 立 居 体 城 略 方针 | 环境 等 综合 数据 法 ， 分 析 预 测 作战 情形 
双方 战略 企图 、 作 战 规律 、 
掌握 敌 方 主要 特征 进行 
制定 具体 军事 战术 | 兵力 配置 、 军 人 行为 等 。 | ”二 下 力主 要 特征 进行 名 
| 对 性 战术 部 团 
数据 
作战 环境 、 部 队 编制 、 武 
7 ，， ， 器 装备 性 能 、 训 练 过 程 和 | 根据 军队 的 实际 需求 和 作 
了 训练 模拟 系 
优化 训练 模拟 系统 |。 朱 闫 态 、 受 训 者 情况 等 | 战 水 平 优化 系统 
数据 
每 个 作战 单元 的 全 部 信 | 以 数据 为 基础 引导 变革 传 
六 革 军事 组 织 形态 
变 守 军事 组 织 形态 | 息 、 军 种 、 部 门 等 数据 。 | 统 军事 组 织 形态 


(二 ) 将 小 数据 转化 为 有 效 的 战术 战 法 


【案例 9.3 】 在 “火力 一 2016. 山 丹 C” 跨 区 机 动 演习 中 ， 某 旅 首 
次 从 渤海 之 滨 转 战 西北 戈壁 。 他 们 根据 以 往 的 演习 经 验 ， 快 速 构建 


了 严密 的 防空 网 。 但 蓝 方 出 其 不 意 ， 


屡 履 重创 该 旅 。 演 习 中 ， 一 位 


防空 兵 指 挥 学 院 的 专家 钻 进 指挥 官 所 在 的 雷达 方 舱 ， 一 路 观察 、 记 
录 和 测算 ， 对 该 旅 作战 行动 进行 了 深入 分 析 。 专 家 认为 该 旅 虽 掌握 
了 大 量 的 敌我 数据 ， 但 并 没 能 转化 为 有 效 的 战术 战 法 。 在 专家 的 指 
导 下 ， 该 旅 通过 前 期 采集 的 敌我 数据 ， 分 析 蓝 方 进攻 规律 ， 推 着 我 


方 各 种 作战 方案 的 利弊 得 失 。 通 过 对 作战 数据 的 深度 挖掘 ， 该 旅 推 
导出 最 优 战 术 方 案 。 在 随后 的 对 抗 中 ， 某 旅 转 败 为 胜 。 


【案例 解析 】 


本 案例 中 最 能 够 引信 深思 的 关键 要 点 是 ， 髓 在 那里 的 数据 是 无 用 
的 。 友 无 疑问 ， 该 旅 在 机 动 演习 初期 已 经 获取 了 作战 所 需要 的 大 量 政 
我 双方 的 小 数据 ， 按 理 说 应 能 稳 操 胜 益 ， 但 却 屡屡 挫败 。 专 家 的 观点 
一 针 见 血 ， 虽 然 收 集 到 了 数据 ， 但 是 该 旅 并 没有 把 数据 转换 为 有 效 的 
战术 。 进 一 步 说 ， 该 旅 的 士兵 拿 到 数据 后 ， 并 没有 建立 其 与 该 旅 的 作 
战 思维 和 作战 特点 的 联系 。 也 就 是 说 这 些 “ 有 楼 有 角 ” 的 个 性 化 数据 又 
然 失 去 了 性 格 特点 ， 变 成 了 躺 在 地 上 的 一 堆 数字 。 这 并 不 是 说 士兵 缺 
之 解读 数据 、 分 析 数 据 的 方法 ， 而 是 说 小 数据 的 获取 和 分 析 应 该 更 加 
突出 个 体 “ 性 格 ” 的 特殊 性 ， 在 本 案例 中 即 蓝 方 的 进攻 规律 、 我 方 各 种 
作战 方案 的 针对 性 。 只 有 把 数据 分 析 到 这 一 层次 ， 才 能 够 将 数据 转换 
成 有 效 的 战术 方案 。 事实 上 ， 现 在 很 多 军事 基地 都 会 建立 数据 研究 中 
心 ， 中 心 的 工程 师 会 采用 分 类 、 育 类、 关联 、 预 测 等 方法 ， 对 数据 进 
行 深度 挖掘 ， 开 展 最 住 干扰 样式 分 析 、 决 策 习 惯 分 析 、 数 据 关 联 分 析 
等 。 数 据 挖掘 和 分 析 的 手段 很 多 ,但 十 要 进行 科学 的 、 有 血 有 肉 的 分 
析 ， 不 能 让 大 量 的 小 数据 在 分 析 的 过 程 中 失去 其 "个 性 ”， 否 则 吏 会 起 
失 分 析 的 意义 。 


一 、 小 数据 与 黑 天 鹅 


(一 ) 墨 天 搁 : 一 个 不 可 预知 的 未 来 ? 


“ 黑 天 鹅 事件 ”与 “大 数据 时 代 ”， 可 算是 现下 流行 的 两 个 高 频 词 
1 

其 实 “ 黑 天 筷 ” 并 不 是 什么 新 词 。 据 说 ，17 世 纪 的 欧洲 人 认为 所 有 
的 天 筷 痢 是 日 色 的 ， 因 为 他 们 从 来 没有 见 过 其 他 颜色 的 天 鹅 。 直 到 18 
世纪 初 ， 欧 洲 人 远 渡 重洋 来 到 澳大利亚 ， 一 上 蛙 融 惊奇 地 发 现 ， 居 然 
有 天 鹅 是 黑色 的 ! 欧洲 人 一 下 子 壹 了， 因为 他 们 之 前 那么 坚信 目 己 的 
判断 ， 可 事实 让 欧洲 人 的 信念 土 朋 瓦解 一 一 史 称 “ 黑 天 殷 事 件 ”。 


在 人 类 社会 发 展 的 进程 中 ， 对 我 们 的 历史 和 社会 产生 重大 影响 
的 ， 通 尝 都 不 是 我 们 已 知 或 可 以 预见 的 东西 。“ 灶 天鹅 ”的 逻辑 是 ， 你 
不 知道 的 事 比 你 知道 的 事 更 有 意义 。 股 市 会 突然 朋 列 ， 类 国 地 产 泡沫 
会 引发 谁 都 没有 预料 到 的 次 贷 危 机 ， 一 场 突如其来 的 大 雪 会 使 大 半 个 
中 国 陷 入 瘫痪 状态 ， 导 致 上 于 亿 元 的 损失 .…… 其 实 我 们 每 天 都 被 <“ 黑 天 
鹅 ” 环 绕 着 。 即 使 你 足 不 出 尸 ， 认 识 到 黑 天 鹅 事 件 的 影响 力 并 不 难 。 和 审 
视 一 下 你 目 己 的 生存 环境 ， 数 一 数目 你 出 生 以 来 ， 周围 发 生 的 重大 事 
件 、 技 术 变 单 和 发 明 ， 它 们 有 多 少 是 在 你 的 预料 之 中 ? 看 看 你 目 己 的 
生活 ， 你 的 职业 选择 、 与 爱人 的 和 邂逅、 朋友 的 背 夏 、 雄 证 或 党 倒 、 股 
市 大 涨 或 盘 盘 .…… 这 些 事 有 多 少 是 按照 计划 发 生 的 ? 


“ 黑 天 鹅 ” 的 出 现 预示 着 ， 世 界 上 永远 存在 不 可 预测 的 重大 和 罕见 
事件 ， 意 料 之 外 ， 一 旦 出 现 却 有 可 能 改变 一 切 。 人 类 总 是 过 于 相信 和 目 
己 的 经 验 ， 硕 望 目 己 的 判断 、 决 定 和 计划 能 如 期 而 至 ， 但 是 现实 总 是 
让 我 们 措手不及 。 无 论 是 泰坦 尼克 号 的 沉没 、 第 二 次 世界 大 战 还 


征 “9.11” 袭 击 事 件 、 美 国 的 次 贷 危 机 、 互 联网 痕 潮 等 ， 都 不 是 人 为 能 
够 预测 出 来 的 。 但 这 些 事件 的 发 生 ， 对 人 类 历史 发 展 的 进程 产生 了 重 
大 的 影响 。 


黑 天 筷 真 的 不 可 被 预测 吗 ? 无 论 是 政府 官员 ， 还 是 经 济 学 家 ， 疙 

普通 的 数据 分 析 员 ， 都 在 藻 百 思索 ， 希 望 能 够 找到 破解 黑 天 鹅 的 钥 

不 。 但 从 系统 上 来 说 ， 想 预测 黑 天 鹅 ， 这 本 里 就 是 一 个 “Mission 
Impossible” (不 可 能 完成 的 任务 ) ! 


(二 ) 大 数据 预测 黑 天 鹅 的 失灵 


大 数据 ， 尽 管 有 很 多 所 谓 成 功 的 案例 ， 看 起 来 也 的 确 很 高 大 上 ， 
但 其 并 非 预 测 未 来 的 魔幻 工具 。 大 数据 让 预测 成 本 变 得 越 来 越 低 ， 从 
而 市 来 大 量 相 天 性 的 预测 ， 然 而 预测 并 非 事 实 。 随 着 我 们 越 来 越 依靠 
数据 ， 我 们 必须 记 住 一 个 事实 ， 束 像 我 们 不 能 为 了 防止 溺水 而 禁 售 冰 
激 姿 一 样 ， 我 们 不 能 依靠 今天 的 数据 去 预测 明天 的 一 切 。 

2016 年 在 大 数据 领域 最 重要 的 事情 之 一 束 是 预测 美国 总 统 大 选 的 
结果 。《 纽 约 时 报 》 预 测 ， 硕 拉 里 的 获胜 概率 是 859%。《 赫 分 顿 邮 
报 》 的 预测 模型 则 预测 希拉 里 的 获胜 可 能 性 为 98% 。FiveThirtyEight 的 
预测 甚至 精确 到 小 数 点 ， 它 认为 希拉 里 的 获胜 概率 是 71.4% 。 


但 最 后 利用 大 数据 分 析 的 预测 结果 都 错 了 ， 最 终 发 生 了 特 朗 普 当 
选美 国 总 统 的 “ 黑 天 鹅 * 事 件 。 曾 经 在 2008 年 和 2012 年 两 次 成 功 预 测 了 
美国 总 统 大 选 结果 的 数据 大 神 Nate Silver， 今 年 竟然 连续 在 9 个 州 预 测 
失败 ， 不 禁令 人 大 跌眼镜 。 


美国 大 选 的 预测 失败 ， 使 大 数据 预测 分 析 领 域 进入 了 一 个 短暂 的 
低潮 期 ， 甚 至 对 整个 行业 都 产生 了 人 负面 影响 。 

生 普 通 人 的 日 常生 活 中 ， 也 存在 很 多 黑 天 鹅 现 象 。 无 论 是 你 的 个 
人 人 收入、 知名度， 还 是 你 的 Google 搜 索 量 、 血 压 、 牙 患 、 股 票 价格 都 


有 可 能 是 “ 黑 天 鹅 事 件 ”， 它 们 在 过 去 的 几 百 天 之 内 只 发 生 了 微小 的 变 
化 ， 并 且 具 备 一 定 的 趋势 。 你 以 为 事情 会 一 直 这 样 发 展 下 去 ， 台 像 太 
虽 每 天 从 东边 升 起 、 在 西边 落下 一 样 目 然 ,但 十 突然 有 一 天 , “全 ” 的 
一 声 ， 一 个 过 去 从 未 有 过 的 巨大 变化 发 生 了 ! 比如 ,“ 乐 天 玛 特 ”超市 
在 华 门 店 突然 关闭 近 九 成 。 

为 什么 大 数据 预测 黑 天 筷 同 样 也 会 失灵 呢 ? 举 个 位 单 的 例子 ， 传 
统 的 大 数据 分 析 ， 像 R 语 言 统计 分 析 软 件 中 ， 默 认 设 定 置 信 空 间 是 
95%。 也 就 是 说 ，5% 的 小 概率 事件 是 不 考虑 的 。 而 实际 中 ， 恰 恰 是 这 
5%， 束 出 现 了 黑 天 鹅 。 

至 于 目前 流行 的 各 种 大 数据 核心 算法 ， 都 是 基于 统计 分 析 、 聚 类 
分 析 ， 以 及 各 种 各 样 、 五 花 八 门 的 分 析 模 型 。 这 些 分 析 模 型 与 算法 ， 
大 多 基于 传统 的 人 工 智 能 研究 ， 什 么 咏 木 乌 算 法 、 恒 火 虫 算法 、 蚊 群 
算法 ， 大 部 分 都 是 经 验 性 、 实 验 模 型 ， 缺 乏 系 统 的 理论 文 择 。 这 些 算 
法 ， 看 名 字 束 知道 ， 玄 而 又 立 ， 不 知 所 云 。 关 键 的 是 ， 这 些 算法 都 是 
受 限 模型 ， 征 基于 某 些 特定 条 件 下 的 模型 ， 无 法 通用 。 

所 以 要 想 通 过 大 数据 去 准确 预测 黔 天鹅 事 件 ， 基 本 上 也 古 不 徘 谱 
的 。 


(三 ) 黑 天 鹅 并 非 无 迹 可 寻 


墨 天 鹊 的 光临 从 表面 上 看 ， 确 实 不 可 损 挽 ， 但 世间 万 事 万 物 都 有 
其 规律 可 寻 ， 征 有 因果 关系 的 ， 只 是 人 的 认识 能 力 有 限 ， 一 些 事物 的 
变化 规律 未 人 袖 人 类 掌握 发 现 ， 因 而 不 清楚 事物 变化 的 因由 ， 故 而 感到 
事物 变化 无 常 。 但 如 果 我 们 回 过 头 来 再 看 黑 天 物事 件 ， 每 一 次 的 黑 天 
揭 事 件 ， 又 似乎 都 有 其 道理 。 


(1) 只 要 是 黑 天 鹅 ， 发 生 之 前 总 会 暴露 蛛丝马迹 


染 天 鹅 事 件 的 爆发 ， 往 往 被 冠 以 “意外 ”的 帆 子 ， 可 是 黑 天 殷 事 件 
真 的 意外 吗 ? 并 非 如 此 。 从 现实 来 看 ， 我 们 总 能 在 黑 天 物事 件 发 生 后 
找 出 合理 的 解释 ， 这 束 说 明 黑 天 筷 的 爆发 一 是 是 有 原因 的 ， 只 是 在 当 
时 的 情况 下 我 们 并 没有 将 这 些 原 因 与 黑 天 殷 事 件 联系 在 一 起 ， 这 也 恰 
恰 说 明 黑 天 鹅 是 具有 洪 伏 期 的 。 

2017 年 ， 两 起 惨痛 事件 永远 地 留 在 了 许多 美国 人 的 记忆 中 : 一 起 
征 美 国 现代 史上 伤亡 最 惨重 的 枪击 案 ， 另 一 起 是 “9.11” 事 件 以 来 发 生 
在 纽约 最 店 重 的 你 怖 袭击 。 


2017 年 10 月 1 日 瞻 ， 白 人 枪手 帕 多 元 在 赌 城 拉 斯 维 加 斯 在 一 场 露天 
音乐 会 现场 开 枪 扫射 11 分 钟 ， 当 场 守 走 59 条 人 命 ， 另 有 500 多 人 受伤 。 
同年 10 月 31 日 下 午 ， 乌 兹 别克 斯 坦 籍 男子 赛 富 洛 - 赛 波 夫 玖 车 在 纽约 曼 
哈 顿 繁忙 的 西 侧 快 速 路 上 接 击 行人 和 骑 车 人 ，8 人 命 来 车 轮 之 下 。 


人 们 注意 到 ,， “9.11” 之 后 的 16 年 内 ， 有 组 织 、 大 规模 的 玖 怖 袭击 
在 美国 大 为 减少 ， 但 由 个 人 策划 实施 的 “ 独 狼 式 ” 钨 怖 袭击 威胁 则 日 渐 
上 升 。 仅 怖 组 织 通 过 社交 媒体 进行 宣传 ， 受 患 惑 的 个 人 利用 生活 中 的 
常见 器 材 发 动 袭 击 ， 令 政府 部 门 防不胜防 。 纽 约 市 警察 局 负责 情报 和 
反 仅 的 副 局 长 约翰 : 米 勒 坦 陈 ， 防 玫 独 狼 式 袭击 “很 难 ， 且 以 后 会 更 
难 。” 他 指出 ， 过 去 处 怖 分 子 策划 确 击 的 过 程 中 会 同 组 织 联 络 ， 反 榴 实 
际 是 情报 战 ， 但 现在 威胁 来 自 个 人 ， 除 非 能 “ 钻 进 他 们 的 脑子 里 *"， 否 
则 几乎 不 可 能 预先 掌握 奴 袭 的 情报 。 


但 是 细 细 分 析 ， 纽 约 上 述 两 起 八 笋 事件 的 嫌犯 都 是 看 到 “伊斯兰 
国 ?" 在 社交 媒体 上 的 宣传 后 萌生 作案 念头 的 ， 与 此 同时 ， 枪 文 暴 力 事件 
在 美国 2017 年 早 有 先例 。2017 年 1 月 6 日 ， 佛 罗 里 达州 东南 沿海 的 劳 德 
代 泵 你 机场 枪击 案 致 5 死 8 伤 ， 同 年 6 月 14 日 ， 距 美国 首都 华盛顿 仅 约 7 
英里 〈 约 11.2 公 里 ) 的 一 处 棒球 场 发 生 枪 击 事件 ， 包 括 国会 众议院 共 
和 和 党 党 纵 史 蒂 夫 :斯 卡 利 斯 在 内 4 人 受伤 ; 拉 斯 维 加 斯 枪击 案 1 个 月 后 ， 
德 克 院 斯 一 座 教堂 内 又 有 26 人 命 表 枪 口 之 下 。 这 说 明 虽 然 独 狼 式 袭击 


的 情报 很 难 被 人 掌握 到 ， 但 实际 上 美国 的 移民 政策 和 枪 文 管理 体系 早 
己 存 在 漏洞 ， 其 与 黔 天鹅 事 件 的 炮 发 不 无 关系 。 

其 他 的 墨 天 政事 件 亦 是 如 此 ， 能 够 事后 被 解释 的 事情 ， 事 前 一 定 
会 有 原因 ， 束 看 我 们 谁 能 够 识别 出 这 些 因 素 ， 并 且 有 能力 将 这 些 因素 
与 黔 天鹅 事 件 联系 在 一 起 ， 在 潜伏期 内 提前 做 好 应 对 措施 。 


(2) 黑 天 笋 必定 会 有 一 段 能 量 爆 发 前 的 积 雍 期 


当天 鹅 除了 具有 潜伏期 外 ， 它 还 往往 存在 一 个 能 量 爆 发 前 的 积聚 
期 ， 能 量 积 素 的 时 间 越 长 ， 事 件 爆 发 后 的 影响 力 越 明 显 。 

2016 年 6 月 ， 和 之 前 民意 调查 和 博彩 公司 的 预计 不 同 ， 英 国 居 然 真 
的 “ 脱 欧 ”成 功 了 ! 这 一 结果 震惊 了 整个 世界 。 


“赌博 市 场 被 误解 “工党 失去 了 工人 阶级 的 支持 “民意 调查 被 误 
解 *“ 伦 敦 错 了 ”英国 政府 错 了 “代沟 冲突 ”.….. 我 们 听 到 了 许多 为 这 个 
结果 的 办 解 的 声 首 。 但 仔细 想 一 想 ， 英 国 脱 欧 的 结 采 又 是 必然 的 ， 因 
为 脱 欧 的 情绪 早已 在 大 街 小 巷 影 响 着 每 个 英国 公民 ， 并 且 这 种 情绪 的 
影响 已 经 悄然 地 蔓延 了 很 长 一 段 时 间 ， 来 看 一 看 这 些 早已 传 肖 的 政治 
讽刺 广告 整 知 道 了 。 

只 卡 梅 伦 。 把 英国 猪肉 放 在 叉子 上 。 许 多 人 大 概 对 英 剧 《 黑 镜 》 
中 是 相 与 猪 交 婚 的 情 市 记忆 犹 新 。 后 来 人 们 发 现 ， 这 种 极 站 的 政治 讽 
刺 艺 术 居 然 有 可 能 是 真 的 :一 位 与 卡 梅 伦 政见 不 合 的 保守 党 成 员 ， 写 
了 一 本 关于 这 位 首相 的 传记 ， 爆 出 了 卡 梅 伦 年 轻 时 候 的 “ 黑 历 史 ” 一 一 
他 在 牛津 上 学 的 时 候 居 然 真 的 和 一 头 死 猪 发 生 了 些 “ 不 可 描述 ”的 事 
。 无 论 这 件 事情 是 不 古 真 的 ， 伙 怕 卡 梅 伦 和 猪 的 梗 都 要 被 玩 上 好 多 
°* 在 这 个 被 灵 搞 的 英国 农场 广告 里 ， 卡 梅 伦 一 脸 陶 醉 ， 芳 边 是 广告 
语 : 把 英国 猪肉 放 在 义 子 上 。 

( 反 人 类 有 牌 。 是 什么 在 2015 年 杀 死 了 最 多 的 无 率 儿 童 ? 答案 是 名 
为 " 反 人 类 牌 ” 的 桌 游 广告 。 在 这 个 恶搞 广告 中 ， 德 高 广告 位 出 现 了 几 


册 下 


张 反 人 类 有 牌 黑色 的 卡片 提出 一 个 问题 “是 什么 在 2015 年 杀 死 了 最 多 
的 无 率 儿 童 ? ”日 色 卡 片上 有 三 个 选项 :“ 不 干净 的 饮用 水 ”“ 斤 利 亚 难 
民 *“ 世 界 领导 人 投下 的 炸弹 ”。 哪 一 个 才 是 最 棱 的 管 案 ? 看 看 广告 牌 前 
走 过 的 一 个 戴 着 头巾 的 穆斯林 妇女 束 知 道 了 。 这 个 创意 束 是 要 把 政治 
正确 扔 到 一 边 ， 发 港 对 穆斯林 移民 的 不 满 。 


(3 英国 人 民 再 也 不 能 和 这 些 xx 为 伍 了 。 近 年 来 瑞 国 民众 一 直 对 政 

府 剖 减 福利 、 外 来 移民 涌 入 造成 的 就 业 岗 位 减少 而 不 满 。 在 这 张 巡 搞 
告 海报 中 , “英国 人 民 再 也 不 能 .……” 后 面 有 一 个 醒目 的 单词 ， 乍 一 

看 十 “Cuts”"， 意 思 是 美国 人 民 再 也 无 法 忍受 福利 和 劳动 岗位 曾 城 了 。 
但 单词 被 撕 掉 的 一 个 字母 却 引 发 了 联想 ,，“Cunts” 则 钙 一 句 脏话 ， 意 思 
是 英国 人 民 再 也 不 能 和 这 些 xx 为 伍 了 ， 至 于 这 各 的 是 政府 还 是 外 来 移 
民 , 慨 见 仁 元 入 了 六 

由 竞争 对 手 和 猪 之 间 不 得 不 说 的 那些 事 。 在 这 个 模仿 MasterCard 
的 广告 中 ， 依 次 列 出 了 不 少 产品 的 价格 ， 如 夹 到 30 英镑、 衬衫 15 英 
镑 。 而 最 后 一 项 又 让 卡 梅 谷 "中 ”了 无 数 “ 枪 一 一 “得 知 竞 争 对 于 和 猪 之 
间 的 及 及 丑闻 值 多 少 钱 ”? 答案 是 “无 价 ”。 

吕 英 国 独立 党 。 剑 指 唐宁 街 10 号 ， 英 国 独立 党 是 英国 的 极 右 辟 政 
和 党， 坚持 民族 保守 主义 ， 一 回 主 张 英 国 退 出 欧盟 。 在 这 则 广告 中 ， 只 
有 首相 官邸 唐宁 街 10 号 的 大 门 ， 而 这 也 揭示 出 他 们 想 要 获取 政权 的 妓 
夕 9 

@“* 全 和 玫 时 间 到 ”。 这 则 车 片 广告 亦 裸 裸 地 揭示 出 英国 的 分 腹 : 英 
国 版 图 形状 的 蓝 户 正在 碎 裂 ， 英 格 兰 和 苏格兰 已 经 分 开 ， 北 爱尔兰 也 
不 知 去 同 。 广 告 语 “ 大 嚼 时 间 到 ?也 能 被 理解 成 < 碎 裂 时 间 到 ”。 

由 此 可 见 ， 目 2013 年 初 ， 英 国 首相 卡 梅 伦 放 次 提出 脱 欧 公投 这 个 
说 法 ， 英 国 想 离开 欧盟 的 心 束 一直 绰 强 欲 动 。 


(3) 在 事件 爆发 前 人 们 往往 假装 黑 天 牲 不 存在 


人 类 的 本 性 不 习惯 黑 天 鹅 现 象 ， 哪 怕 十 畸 天 筷 事 件 即 将 炮 发 ， 我 
们 也 往往 假装 黑 天 鹅 现 象 是 不 存在 的 。 

2016 年 的 A 股 市 场 ， 元 旦 后 首 个 交易 日 熔断 机 制 华 丽 登 场 ， 可 惜 
市 场 用 脚 投票 ，4 天 内 侯 断 了 4 次 ， 葵 发 了 6 万 亿 元 市 值 ， 股 民 人 均 亏 损 
16 万 元 。 熔 断 机 制 吏 像 是 给 市 场 加 了 一 把 雨伞。 虽然 不 能 因为 第 一 天 
打 伞 吏 碰 上 了 大 雨 ， 吏 说 雨 是 被 伞 引 过 来 的 。 但 反 过 来 ， 也 不 能 因为 
有 了 有 雨伞， 束 认 为 不 会 再 下 雨 了 。 

有 分 析 师 认为 ， 当 时 国内 的 情况 是 : 首先 是 离 岸 人 民 币 持续 峻 
跌 ， 其 次 是 对 中 国 经 济 增长 的 担忧 ， 以 及 大 股东 减 持 、 限 售 股 解 禁 等 
造成 的 资金 面 压力 。 在 这 种 情况 下 ， 即 便 没有 炊 断 机 制 ，A 股 暴跌 的 
概率 依然 存在 。 一 些 私募 在 早 些 时 间 束 已 经 吓 到 了 风险 的 味道 ， 逃 命 
为 上 。 而 多 数 股 民 却 在 感叹 ， 原 本 早已 做 好 了 逃跑 的 准备 ， 却 因为 对 
熔点 机 制 抱 有 一 点 点 幻想 ， 连 逃命 的 机 会 都 失去 了 。 这 难道 不 是 对 黑 
天 物 赤 裸 裸 的 无 视 吗 ? 

类 天 鹅 ， 有 时 就 像 真 理 掌 握 在 少数 人 手 里 一 样 ， 它 往往 会 招致 反 
对 或 不 被 接受 ， 然 后 成 为 共识 。 


(4) 黑 天 忽 也 可 被 称 为 有 预谋 的 绝对 发 生 事件 


2014 年 3 月 8 日 ， 载 有 239 人 的 马 航 MH370 航 班 在 从 马来西亚 吉隆 
坡 飞 往 中 国 北 京 的 途中 失 联 ，MH370 的 机 长 扎 哈 里 已 被 锁定 为 最 大 “ 嫌 
疑 人 ”。 

在 失 联 事件 发 生前 ， 扎 哈里 在 他 个 人 的 Facebook 上 贴 过 他 为 反对 
党 大 选 帮忙 鸭 照片 ， 这 并 非 秘密 。 在 失 联 事件 发 生前 ， 纳 西 尔 以 及 扎 
哈里 的 不 少 同学 、 友 人 就 已 得 知 扎 哈里 在 2013 年 加 入 了 反对 党 人 民 公 
正 党 (People’s Justice Party) 。 而 在 扎 哈 里 痛苦 地 跟 一 名 有 夫 之 妇 关 
系 破 忽 后 ， 他 癌 自 己 的 妻子 发 了 一 条 有 天“ 私事 ”的 短信 。 这 一 切 发 生 


在 马 航 失 联 前 两 天 。 机 长 所 哈里 与 妻子 Pardi 虽 然 同 住 在 一 个 屋 榴 下 ， 
但 他 们 早已 感情 破裂 。 


机 长 扎 哈 里 兽 * 秀 ”过 自家 搭建 的 电脑 模拟 平台 ， 可 以 看 到 三 个 用 
于 展示 视 景 的 大 屏幕 、 三 块 分 别 模拟 区 驶 舱 前 、 中 央 、 上 操控 面板 的 
触 控 屏 和 整套 飞行 模拟 设备 。 这 不 禁令 人 生 疑 -一 这 是 真 的 太 热爱 飞 
行 ， 还 是 要 在 家 里 练习 一 些 不 便 在 公司 专业 模拟 器 上 操作 的 特殊 科 
目 ? 2016 年 8 月 ， 马 来 西亚 官方 首次 承认 ， 马 来 西亚 航空 公司 MH370 
航班 的 机 长 扎 哈 里 . 艾 哈 迈 德 ` 沙 阿 曾 在 目 己 家 中 模拟 飞行 过 与 这 织 客 机 
疑似 验 入 南 印度 洋 相 似 的 路 线 。 

如 图 10-1 所 示 ， 这 是 机 长 平时 的 演练 路 线 与 专家 推测 的 现实 路 线 
对 比 。 斜 线 为 机 长 的 练习 路 线 ， 直 线 是 此 前 推测 的 MH370 失 联 后 的 飞 
行路 线 。 方块 丰 搜 索 客 机 残 通 的 区 域 。 
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图 10-1 马 航 MH370 失 联 后 的 飞行 路 线 预 测 


马 航 MH370 客 机 或 许 是 一 次 有 预谋 的 “ 独 狼 行动 *， 为 了 挑战 人 类 
的 智慧 和 搜救 能 力 。 而 随 着 MH370 更 多 残骸 被 发 现 ， 证 据 链 更 趋 完 
整 ， 最 终 真 相 将 渐 出 水 面 。 


(四 ) 应 对 黑 天 筷 事 件 可 以 使 用 小 数据 


我 们 知道 小 概率 事件 在 一 次 试验 当中 几乎 十 不 可 能 发 生 的 ， 因 此 
人 们 会 用 两 种 不 同 的 态度 对 竺 小 概率 事件 : 一 种 是 对 竺 小 概率 事件 不 
闻 不 问 ， 另 一 种 则 是 更 愿意 承认 它 的 发 生 。 那 么 哪 种 方式 是 面 对 小 概 
率 事件 的 正确 处 理 方式 呢 ? 我 的 看 法 是 : 应 对 小 概率 事件 可 以 使 用 小 
数据 。 


(1) 要 关注 一 些 有 明确 定义 的 不 确定 性 现象 


小 概率 事件 并 不 古 不 可 能 发 生 的 事件 。 至 于 小 概率 事件 是 否 可 以 
忽略 ， 这 吏 要 看 具体 的 情况 了 。 比 如 ， 任 何 小 概率 事件 对 于 航运 来 说 
都 可 能 是 致命 的 ， 所 以 这 种 情况 下 小 概率 事件 绝 不 能 忽略 。 再 如 ， 有 
些 彩 民 严 彩票 只 盼 厦 中 头 奖 ， 我 认为 这 是 可 以 忽略 的 一 种 小 概率 事 
件 。 我 们 要 关注 一 些 特定 的 黑 天 筷 现 象 ， 找 出 有 明确 定义 的 小 数据 ， 
而 不 是 去 关注 那些 我 们 根本 不 会 想到 的 或 者 我 们 根本 区 弘 不 了 的 事 


情 。 


(2) 远离 大 数据 ， 避 免 “ 过 滤 性 错误 ” 
投资 人 曾 星 智 曾 提出 : 现实 世界 古 一 个 推 梁 预 测 ， 被 统计 、 归 纳 
和 经 验 所 统治 的 世界 。 一 个 被 确定 性 统治 的 世界 ， 是 因为 人 们 认为 那 
才 是 权威 和 真理 。 因 此 ， 只 要 我 们 陷入 其 中 就 容易 控 入 “ 黔 天鹅 ”的 陷 
阱 。 因 此 要 想 做 一 个 真正 完全 地 接受 未 来 充满 了 不 确定 性 、 市 场 不 可 
预测 的 人 ， 殊 必须 远离 大 数据 、 远 离 经 验 ， 而 且 拒 绝 与 持 有 确定 性 和 


可 预测 观点 的 人 交流 ， 拒 绝 那些 依然 被 统计 法 和 归纳 法 统治 的 头脑 ， 
以 避免 犯 < 过 滤 性 错误 。 


(3) 所 有 的 因果 关系 都 是 伪装 的 ， 必 须 用 小 数据 重新 检 


真理 不 是 一 成 不 变 的 。 束 像 * 两 条 直线 ， 不 平行 ， 束 相交 ”这 个 看 
似 无 懈 可 击 的 真理 ， 只 存在 于 立体 几何 出 现 之 前 。 有 时 候 ， 科 学 家 经 
党 所 出 的 、 历 史学 家 断定 的 因 采 关系 ， 也 并 非 吏 是 真理 。 人 类 是 一 个 
喜欢 寻找 原因 的 动物 ， 习 惯 于 认为 一 切 事情 都 有 确定 的 原因 ， 并 且 把 
最 明显 的 那 一 个 当 作 最 终 解释 。 但 实际 上 可 能 只 是 我 们 为 了 把 两 件 事 
联系 起 来 而 强加 的 逻辑 ， 我 们 必须 接受 我 们 熟悉 的 “原因 ”的 模糊 性 ， 
不 管 这 让 我 们 曾经 感到 它 是 多 么 可 靠 。 所 以 请 对 “ 因 末 ”时 刻 保持 “ 怀 
疑 ” 的 态度 ， 并 小 心 对 得 它 ， 坚 持 用 小 数据 去 不 断 检验 它 ， 直 到 没有 任 
何 小 概率 事件 发 生 。 


(4) 每 一 次 黑 天 鹅 事件 ， 都 是 一 次 小 数据 的 积累 


在 股市 中 经 和 党 听 到 有 人 这 样 安 奈 我 们 :“ 黑 天 我 的 意外 事件 是 灾 
难 ， 但 也 是 一 次 千 载 难 着 的 好 机 会 。” 其 实 对 于 喜欢 数据 分 析 的 我 们 ， 
类 天 鹅 的 出 现 ， 也 让 我 们 采集 到 了 一 种 全 新 的 数据 ， 并 且 使 我 们 对 目 
己 的 经 验 模型 有 了 重新 的 认识 。 而 随 看 越 来 越 多 的 黑 天 殷 出 现 ， 我 们 
所 积累 的 数据 也 将 成 为 一 种 新 的 经 验 ， 帮 助 我 们 识别 大 数据 陷阱 ， 从 
而 提升 数据 应 用 水 平 ， 以 应 对 未 来 管理 失控 等 问题 。 


二 、 小 数据 与 次 犀牛 


(一 ) 灰 犀 牛 : 一 个 更 可 怕 的 大 概率 危机 


“ 黑 天 鹅 " 代 表 着 不 可 预测 的 重大 稀有 事件 ， 但 比 黑 天 鹅 更 危险 
的 ， 是 “ 砍 犀牛 "。 


“ 灰 犀 牛 理论 ”由 米 歇 尔 : 涯 克 (Michele Wucker) 提出 ， 指 的 是 在 
一 系列 警示 信号 和 迹象 之 后 出 现 的 大 概率 事件 。 该 理论 认为 ， 灰 犀牛 
事件 之 所 以 会 产生 巨大 的 破坏 性 ， 源 自信 们 面 对 “ 灰 犀牛 ”时 五 个 阶段 
的 反应 。 

第 一 阶段 症 本 能 的 否定 ， 第 二 阶段 症 得 过 且 过 ; 第 三 阶段 症 竹 试 
去 回应 ; 第 四 阶段 症 慰 灵 ， 第 五 阶段 症 朋 浇 。 

忠 好 像 灰 犀牛 体形 条 重 、 反 应 迟 级， 你 能 看 见 它 在 远 处 ， 却 肥 不 
在 意 ， 一 旦 它 向 你 狂奔 而 来 ， 定 会 让 你 独 不 及 防 ， 直 接 被 它 扑 倒 在 
地 。 它 并 不 特别 神秘 ， 却 更 危险 。 


“ 灰 犀 牛 理论 ?描述 的 是 决策 者 当前 所 面临 的 困境 : 即使 拥有 海量 
言 轧 ， 仍 然 有 很 大 可 能 做 出 错误 的 决策 ， 长 至 海量 信息 本 号 会 给 决策 
市 来 更 多 的 不 确定 性 。 


世界 所 面临 的 巨大 困难 中 有 很 多 都 是 灰 犀 牛 性 质 的 问题 。 不 可 持 
续 的 国家 债务， 经 济 增长 乏力 ， 攻 动 力 市 场 的 巨大 变 章 ， 诸 如 此 类 ， 
极 大 地 增加 了 相关 国家 遭受 新 一 轮 经 济 危 机 的 可 能 性 。 日 益 加 剧 的 收 
入 分 配 不 平等 问题 将 会 进一步 导致 社会 和 政治 动荡 不 安 、 和 零星 的 骚 
乱 、 政 权 的 更 迭 和 经 济 发 展 的 停滞。 


而 在 具体 生活 中 ， 这 样 的 例子 数不胜数 。 比 如 ， 人 们 明知 道 吸烟 
有 害 健康 ， 但 还 是 会 去 抽烟 ， 人 们 都 知道 醉酒 驾车 危险 ， 但 还 是 有 人 
会 去 侥幸 冒险 。 再 如 ， 当 下 我 们 都 知道 人 工 智能 将 会 对 我 们 的 社会 产 
生 重大 挑战 ， 可 是 大 多 数 人 基本 都 没 把 这 当 回 事 ， 或 一 直 认为 挑战 还 
有 很 久 才 会 到 来 。 切 换 到 一 个 更 大 的 视角 ， 雾 者 、 气 候 变 上 暖 、 饮 用 水 
短缺 等 都 是 与 我 们 每 个 人 息息相关 的 砍 犀 牛 事件 ， 它 们 早已 出 现 趋 
势 ， 然 而 整个 社会 却 依然 会 选择 逃避 心态 、 心 存 侥幸 。 

当 人 们 看 到 * 灰 犀牛 * 远 远 奔 过 来 的 时 候 ， 并 不 能 判断 它 是 否 会 中 
途 改 变 方向 ， 以 及 它 究竟 会 给 自己 带 来 多 大 的 伤害 。 

为 什么 会 出 现 这 种 情况 呢 ? 

第 一 ， 以 西蒙 为 代表 的 决策 理论 学 派 认为 ， 由 于 人 关 生理 和 心理 
固有 的 局 限 所 造成 的 有 限 理性 ， 非 常 容易 造成 选择 性 注意 和 价值 信 
见 ， 反 过 来 又 限制 注意 广度 和 知识 信息 的 获得 。 这 就 是 我 们 经 常 说 
的 ， 人 们 往往 接受 “愿意 接受 的 信息 ”。 人 们 这 种 认识 缺陷 是 天 然 存 在 
的 ， 就 算 再 有 海量 的 数据 ， 人 们 往往 还 是 “自动 "接受 那些 “愿意 接受 的 
数据 " 。 

第 二 ， 大 数据 分 析 的 前 提 ， 是 我 们 认为 足够 的 海量 数据 能 够 高 度 
拟 合 事实 本 身 ， 并 且 这 种 拟 合 能 对 事物 运行 趋势 作出 准确 的 判断 。 但 
其 实 很 多 难以 量化 和 评估 的 因素 ， 如 “创新 “公众 情绪 "往往 能 极 大 地 
影响 发 展 趋势 。 这 在 很 大 程度 上 削弱 了 大 数据 的 预测 准确 性 。 

第 三 ， 对 决策 者 而 言 ， 做 出 决策 时 的 稀有 资源 不 是 信息 ， 而 是 处 
理 信息 的 能 力 ， 数 据 噪声 反而 加 大 信息 处 理 的 难度 。 美 国 耗 费 巨 资 采 
取 大 规模 监控 ,但 收效 其 微 。 如 同 斯 诺 登 在 接受 采访 时 所 说 “大 规模 
监控 的 问题 在 于 ， 我 们 在 向 不 理解 的 情报 内 容 中 添加 了 更 多 的 内 容 ， 
如 美国 公民 日 常生 活 的 信息 。 这 加 剧 了 我 们 的 信息 处 理 难度 。” 


(二 ) 灰 奋 牛 不 需要 预测 


与 黑 天 鹅 的 小 概率 事件 相反 ， 我 认为 灰 犀 牛 现 象 并 不 需要 预测 ， 
因为 它 清晰 地 择 在 那里 ， 并 且 众 多 危机 都 有 明显 的 先兆 ， 只 不 过 这 些 
先兆 部 没有 引起 人 们 足够 的 重视 。 例 如 ，2008 年 美国 房地产 泡沫 集中 
爆发 以 及 在 此 之 前 的 诸多 泡沫 破裂 刚 风 卡特 里 娜 和 桑 迪 以 及 其 他 目 
然 灾 害 后 的 毁灭 性 余波 ;站 履 了 传统 媒体 的 现实 数码 技术， 大 桥 坟 塌 
和 揪 播 欲 附 的 城市 基础 设施 ， 苏 联 的 迅速 惨败 和 中 东 地 区 的 混乱 ， 在 
事前 均 出 现 过 明显 的 迹象 。 


同时 ， 错 误 的 思想 动机 和 对 个 人 利益 的 误 判 会 极 大 地 助长 我 们 抗 
拒 行动 的 自然 天 性 。 例 如 ， 米 菊 尔 - 涯 元 (Michele Wucker) 列举 的 几 
个 例子 : 银行 家 明明 已 经 了 解 次 贷 和 危机 的 风险 ， 却 仍然 不 肯 从 充满 风 
险 的 投资 中 收 手 ; 地 方 官 员 明 明知 道 桥 染 的 状况 已 经 非常 糟糕 ， 但 却 
一 再 推迟 维修 时 间 ; 工头 明明 知道 三 房 的 墙 面 上 出 现 了 巨大 的 裂 颖 ， 
但 仍然 一 如 既往 地 专注 于 手 上 的 生意 ， 直 到 整个 厂房 彻 底 夫 亏 ; 监管 
和 执行 层面 的 人 明明 知道 出 纳 、 会 计 等 的 行为 可 疑 ， 但 仍然 拒绝 接受 
各 种 警报 的 提示 ; 工程 师 明 明知 道 一 个 劣质 粗粮 的 价值 57 美 分 的 燃 火 
器 是 多 么 的 危险 ， 但 仍然 不 去 更 换 ， 由 于 企业 的 CEO (首席 执行 官 ) 
对 于 颠覆 性 新 技术 的 出 现 没 有 做 出 任何 有 效应 对 ， 在 行业 中 本 来 处 于 
领先 地 位 的 企业 被 狐 的 技术 和 公司 取代 后 ， 只 能 在 市 场 中 揭 强 挣扎 维 
持 ; 企业 或 者 国家 的 元 老 ， 明 明知 道 目 己 时 日 无 多 ， 是 时 候 该 让 青年 
一 代 接 手 了 ， 但 却 宁愿 将 企业 或 国家 引 辐 毁 灰 ， 也 不 愿意 放 开 手中 的 
权力 。 


现实 生活 中 ， 前 段 时 间 看 到 某 企业 管理 人 员 A 君 跳槽 到 了 深圳 一 
家 企业 ， 联 系 后 得 知 ， 他 是 因为 家 庭 经 济 原因 ， 需 要 更 高 收入 ， 不 得 
不 到 另外 一 个 城市 。 深 入 了 解 后 才 知 道 ， 是 他 的 太太 笨 患 了 乳腺 恶性 
肿瘤 ， 需 要 持续 治疗 康复 ， 没 有 办 法 工作 ，A 君 需要 承担 更 重 的 经 济 
压力 。A 看 感悟 道 ， 其 实 以 前 有 几 次 机 会 为 家 人 投保 重 疾 保 险 ， 而 且 
有 同事 锥 患 乳腺 冶 、 上 肺癌 的 ， 但 还 是 觉得 患 重 疾 的 概率 很 低 ， 也 不 至 
于 发 生 在 目 己 和 家 人 的 映 上 ， 毕 竟 才 和 干 分 之 几 的 概率 ， 所 以 没有 着急 


买 。 当 时 认为 只 有 意外 险 才 能 够 起 到 很 好 的 保险 作用 ， 所 以 只 投保 了 
高 额 的 意外 险 而 忽略 了 重大 疾病 保险 ， 现 在 真是 后 悔 。 

A 君 面 临 的 就 古典 型 的 “ 灰 奋 牛 ”事件 ， 重 大 疾病 已 经 是 大 概率 事 
件 ， 且 很 多 人 已 经 有 了 这 种 认识 ， 只 是 抱 有 侥幸 心理 、 拖 延 的 习惯 而 
一 直 回 避 、 拒 绝 承 认 ， 然 后 束 可 能 变 成 了 无 法 挽回 的 结 


(三 ) 大 数据 和 是 灰 犀牛 的 徘 魁 祸首 


决策 ， 是 管理 的 中 心 ， 决 策 着 在 进行 决策 时 必须 拥有 很 多 信息 。 
基于 这 一 前 提 ， 很 多 人 认为 大 数据 将 大 大 提高 决策 的 效率 和 效果 。 大 
数据 “所 见 即 所 得 ”的 巨大 优势 将 推动 决策 简单 化 ， 甚 至 目 动 化 。 然 而 
事实 很 可 能 恰恰 相反 ， 大 数据 市 给 决策 者 的 是 空前 的 挑战 。 大 数据 本 
喘 并 不 能 市 来 好 的 决策 ， 如 果 使 用 不 当 反 而 会 市 来 更 大 的 决策 危机 ， 
并 成 为 导致 灰 犀 牛 现象 的 徘 魁 祸首 。 


根据 公开 媒体 的 报道 ,“9.11” 事 发 前 美国 情报 部 门 束 已 获取 了 足 
够 必要 的 信息 ， 中 情 局 甚至 掌握 了 仍 饰 分 子 的 通话 记录 和 个 人 信息 。 
但 在 海量 的 机 密 信 息 中 ， 决 策 者 没 能 理解 其 中 的 关联， 尤其 无 法 对 嫌 
疑犯 的 行动 做 出 判断 ， 从 而 无 法 做 出 正确 的 决策 。 


而 在 信息 时 代 ， 市 场 钙 变化 无 党 并 且 不 可 预期 的 ， 决 策 者 的 创造 
性 思维 也 并 不 能 通过 大 数据 得 以 体现 ， 相 反 ， 大 数据 在 压制 创新 。 


最 显而易见 的 例子 ， 殊 是 手机 三 商 摩托 罗拉 和 许 基 亚 。 在 21 世 纪 
初 ， 摩 托 罗 拉 V3 系 列 手 机 大 获 成 功 ， 喜 称 销售 达 1 亿 部 ， 一 度 傲视 群 
雄 。 摩 托 罗 拉 从 大 量 的 数据 和 反馈 中 得 到 了 利好 消息 ， 认 为 只 需 在 V3 
机 型 上 下 功夫 。 但 是 千篇一律 、 缺 乏 变 化 的 东西 只 会 让 消费 者 厌倦 。 
话 基 亚 在 2007~2010 年 的 业绩 可 谓 是 如 日 中 天 ， 塞 班 系统 可 以 说 是 一 统 
天 下 ， 无论 数据 上 还 是 场面 上 ， 都 大 占 上 风 。 但 问题 是 ， 一 般 消 费 者 
其 实 对 目 己 的 需求 也 不 太 清 楚 ， 只 有 当真 的 产品 出 来 时 ， 他 们 才 会 发 


出 慰 讶 的 赏 疏 ， 转 头 束 把 旧 产 品 扔 在 一 边 。 不 久之 后 ， 鹤 班 束 被 iOS 
(苹果 公司 开发 的 移动 操作 系统 ) 和 安 卓 这 些 “ 新 势力 ” 攻 城 略 地 ， 打 
得 省 不 成 军 。 如 今 ， 摩 托 罗 拉 和 诺基亚 已 经 分 别 被 谷歌 和 微软 收购 。 


(四 ) 尝试 用 小 数据 去 挑战 灰 犀牛 


因 避 灰 犀 牛 的 侵扰 ， 方 法 有 很 多 种 : 可 以 是 直面 危机 ， 化 危机 为 
机 遇 ， 也 可 以 是 避免 损失 ， 或 者 至 少 征 减 少 损失 。 适 时 的 预防 可 以 使 
局 面 发 生 戏 剧 性 的 转变 ， 写 可 以 使 危机 不 再 继续 恶化 。 很 多 时 候 ， 损 
失 已 经 无 可 挽回 ， 事 情 也 无 法 回 到 初始 状态 。 但 是 ， 如 采 我 们 能 把 损 
失控 制 到 最 小 ， 也 不 失 为 一 种 进步 。 

灰 犀 牛 理 论 所 出， 决策 者 应 该 关注 以 下 几 方 面 。 


第 一 ， 采取“ 游 猫 攻略 ”"， 关 注 大 数据 所 市 来 的 新 的 思考 维度 ， 尤 
其 是 海量 数据 所 揭示 出 的 规律 性 的 例外 情况 。 根 据 德 鲁 殉 的 决策 五 要 
素 模 型 (问题 的 性 质 、 边 界 条 件 、 正 确 方 案 、 执 行 措施 和 评估 反 
馈 ) ， 大 数据 最 有 作为 的 就 是 在 问题 的 性 质 界定 上 。 通 过 大 数据 ， 可 
以 及 时 发 现 公 司 运 宫 中 被 名 上 略 和 遗漏 的 信息 。 当 这 些 信息 呈现 出 规律 
性 时 ， 即 使 这 些 信息 不 古 那 么 紧急 ,决策 者 也 需要 开始 行动 ， 做 好 迎 
接 的 准备 。 此 外 ， 采 取 必 要 的 对 冲 机 制 也 是 一 种 可 行 的 方案 。 


第 二 ， 在 大 数据 时 代 ， 系 统 思考 能 力 的 重要 性 更 加 凸显 。 在 数据 
的 汪洋 大 海中 ， 如 果 没 有 足够 的 系统 思考 能 力 ， 决 寅 者 将 陷入 细 市 ， 
根本 无 法 找到 正确 方向 。 对 于 各 级 决策 者 ， 要 尽量 以 更 宏观 的 视野 和 
更 系统 的 思考 ， 准 确 界定 问题 ， 明 确 决策 的 影响 边界 ， 要 避免 由 于 数 
据 而 市 来 的 应 激 性 管理 冲动 。 

第 三 ， 数 据 从 来 天 不 是 万 能 的 ， 决 策 者 需要 的 是 深入 实际 。 往 姆 
斯 -斯 科 特 (James C.Scott) 在 《国家 的 视角 》 (Seeing Like a State) 一 
书 中 描述 了 数据 崇拜 带 来 的 亚 末 : 依靠 地 图 重建 社区 ， 却 完全 不 知道 


其 中 民众 的 生活 状态 ;依靠 农 收 数据 决定 采取 集体 农庄 ， 却 完全 不 慌 
农业 生产 的 规律 ; 依靠 图 纸 数 据 天 马 行 空地 进行 规划 ， 过 度 强调 整齐 
划一 ， 忽 视 多 样 性 和 地 方 传统 。 与 查看 各 种 报表 和 曲线 图 而 做 决策 相 
比 ， 决 策 者 到 基层 倾听 客户 的 抱 急 ， 体 验 员 工 的 闻 施 ， 感 受 市 场 的 多 
元 化 ， 会 更 有 助 于 做 出 好 的 决策 。 


下 我 个 人 而 言 ， 我 更 倾向 利用 小 数据 去 挑战 灰 犀 牛 。 


首先 ， 面 对 来 势 测 滑 的 灰 犀 牛 ， 小 数据 可 以 在 海量 数据 中 发 现 企 
业 运 党 中 被 忽略 和 遗漏 的 信息 后 ， 捕 捉 到 与 企业 休 威 相关 的 “小 细 
节 ” 但 “大 到 难以 忽视 "的 信息 ， 并 迅速 对 其 做 出 反应 。 例 如 ， 如 果 丽 怖 
分 子 只 学 开 飞机 ， 不 学 降落 这 个 小 细 闻 被 关注 ， 美 国 反恐 历史 可 能 
重 写 。 还 有 一 个 例子 可 以 说 明 小 细节 的 大 功效 。 依 据 大 数据 ， 旧 金山 
地 区 卫生 部 门 发 现 同性 恋人 群 肝病 发 病 率 上 升 预计 艾滋 病例 也 会 上 
升 ， 但 对 这 两 种 疾病 流行 正 相关 的 预测 失败 。 深 入 调查 发 现 ， 同 性 恋 
对 艾滋 病 越 来 越 持平 常 心 。 他 们 利用 社交 网 络 ， 主 动 张贴 自己 的 情 
况 ， 避 免 交 叉 感染 。 这 次 ， 关 于 行为 和 动机 的 小 数据 又 解释 了 大 数据 
看 不 到 的 规律 。 换 句 话说， 小 数据 所 捕捉 到 的 小 细节 是 需要 通过 深刻 
的 感知 和 学 习 而 形成 的 对 个 体内 部 动作 机 理 的 描述 ， 这 样 见 微 知 闭 的 
小 细节 揭示 出 了 大 数据 无 法 展现 的 个 体 思 维和 个 性 ， 因 此 能 够 解决 很 
多 大 问题 。 

其 次 ， 小 数据 会 驱动 我 们 对 有 利 可 图 的 事情 开展 行动 ， 不 会 单纯 
为 了 避免 问题 的 发 生 而 采取 行动 。 我 们 可 以 认识 到 危机 问题 的 独特 之 
处 ， 并 且 把 它们 作为 机 遇 来 面 对 ， 重 大 危机 发 生 之 前 的 种 种 端倪 其 实 
都 是 一 次 次 绝 佳 的 机 遇 ， 这 样 才能 做 到 不 仅 能 典 避 灾难 的 袭击 ， 而 且 
能 从 中 获 益 。 例 如 ，2007 年 金融 危机 即将 发 生 的 时 候 ， 一 些 华尔街 内 
部 人 士 通过 寻找 有 政府 背景 的 企业 高 管 进行 危机 应 对 交流 ， 通 过 他 们 
的 言谈 举止 判断 危机 发 生 后 政府 是 否 会 出 手 救 助 ， 他 们 非常 清楚 这 些 
企业 高 管 的 所 作 所 为 会 导致 风险 累积 ， 进 而 爆发 危机 。 因 此 他 们 在 危 


机 到 来 前 尽量 抛售 个 人 持仓 ， 通 过 选择 做 空 实现 了 从 金融 危机 中 赚 
钱 ” 

最 后 ， 小 数据 可 以 帮助 你 记 住 最 重要 的 事情 ， 时 刻 提醒 你 灰 犀 牛 
台 在 眼前 。 有 人 打 了 一 个 比方 ， 他 说 今天 我 们 是 处 在 一 个 信息 过 剩 的 
时 代 ， 以 前 要 获取 信息 非常 困难 ， 而 今天 打开 手机 到 处 都 是 信息 ， 但 
征 大 部 分 的 信息 只 影响 你 的 皮肤 ， 没 有 深入 你 的 吴 体 里 。 看 上 去 你 获 
取 了 很 多 的 信息 ， 其 实 你 没有 把 这 些 信息 真正 消化 控 ， 这 就 相当 于 你 
在 灰 犀 牛 面前 却 丝 晕 不 会 察觉 到 异 状 。 而 小 数据 的 本 质 二 深化， 它 能 
让 你 看 到 它 最 核心 的 东西 ， 并 时 刻 提醒 你 危机 的 存在 。 束 像 我 们 有 了 时 
会 在 一 个 笔记 本 上 记录 下 我 们 听 不 慌 的 重点 和 难点 问题 ， 回 过 尖 来 还 
要 仔细 复习 一 样 ; 或 着 像 一 个 床 头 的 小 南 钟 ， 时 刻 提 醒 我 们 每 天 都 要 
利用 好 清晨 ， 为 一 天 的 工作 做 好 预习 ， 最 大 限度 应 对 我 们 已 经 知道 并 
在 未 来 可 能 出 现 的 大 概率 危机 。 


三 、 小 数据 与 独 角 兽 


(一 ) 独 角 轩 : 一 个 颠 窗 传统 的 企业 神话 


“ 独 角 骨 ”企业 是 投资 界 中 一 个 非常 火 的 概念 ， 这 一 概念 最 早 在 
2013 年 由 美国 著名 风险 投资 公司 Cowboy Venture 投 资 人 人 艾 莉 :至 
(Aileen Lee) 提出 ， 专 指 那些 估 值 达到 10 亿 美元 以 上 的 初创 企业 。 之 
后 这 个 词 迅速 流行 于 硅 合 ， 并 且 出 现在 《财富 》 杂 志 的 封面 上 ， 随 后 
流行 到 全 世界 。 

“ 独 角 兽 企业 除了 佑 值 必须 超过 10 亿 美元 这 个 最 为 直观 的 入 门 级 
标准 外 ， 其 实 还 有 其 他 的 衡量 标准 。 首 先 ， 独 角 兽 企业 带 来 的 产品 在 
最 初出 现 的 时 候 ， 人 们 都 觉得 难以 置信 ， 但 当 人 们 习惯 这 种 方式 后 ， 
会 觉得 习以为常 ， 不 可 或 缺 。 例 如 ， 阿 里 巴巴 刚刚 创立 的 时 候 ， 大 多 
数 国人 认为 是 天 方 夜 谭 ， 没 有 见 卖家 的 面 ， 没 有 亲眼 看 到 实物 ， 怎 么 
可 能 去 付 钱 购买 商品 。 如 今 ， 淘 宇 购物 成 为 许多 购物 者 最 为 常见 的 购 
买 渠 道 ， 甚 至 消费 占 支 出 比例 最 大 。 其 次 ， 它 们 都 改变 了 人 人们 的 工作 
方式 和 生活 方式 。 因 为 “ 独 角 兽 ”企业 都 是 创新 企业 ， 它 们 不 会 让 消费 
者 去 做 不 同 的 事情 ， 而 是 让 消费 者 成 为 不 同 的 人 。 最 后 ,“ 独 角 兽 ” 企 
业 会 产生 巨大 的 经 济 影 响 。 它 们 甚至 最 后 都 会 超出 “ 独 角 兽 ?企业 的 创 
立 者 可 以 想象 的 极限 。 


在 世界 范围 内 ， 你 可 以 举 出 一 系列 台 断 性 “ 独 角 导 ”的 例子 : 
Facebook 是 压倒 性 优势 的 社交 工具 ， 它 让 人 们 变 得 更 容易 更 主动 地 连 
接 在 一 起 了 ; LinkedIn 〈 领 英 ) 是 压倒 性 优势 的 职业 社交 平台 ， 它 让 
专业 人 脉 和 洞 见 更 自由 地 组 合 和 流动 ; Uber (在 世界 上 绝 大 部 分 它 已 
经 进入 的 市 场 ) 是 支配 性 地 位 的 交通 出 行 工 具 ， 它 让 更 多 的 人 成 为 日 


由 的 司机 ， 让 更 多 人 成 了 可 以 随时 搭车 的 乘客 ， 进 而 提升 了 公路 上 的 
效率 ，Airbnb ( 爱 彼 迎 ) 几乎 在 全 球 范围 内 找 不 到 与 之 相近 的 对 手 ， 
它 为 文化 、 旅 行 与 人 际 间 的 信任 赋予 了 新 的 内 洱 ，Pinterest 是 独一无二 
的 图 片 分 享 空间 ， 它 是 这 个 世界 上 大 多 数 美学 唯 " 物 " 主 义 者 和 收藏 六 
的 精神 家 园 ，Instagram 是 当前 首届 一 指 的 影像 社交 网 络 ， 它 是 人 们 用 
视觉 探索 、 享 受 这 个 世界 并 与 它 互 动 的 最 重要 平台 ..….. 而 且 ， 这 些 公 
司 都 非常 值钱 ，10 亿 美元 是 它们 市 面 价值 的 底 限 。 

“ 独 角 兽 "企业 一 般 引 领 着 产业 变革 的 方向 ， 能 带 来 全 球 产 业 的 直 
黎 。 在 新 经 济 时 代 ， 随 着 各 类 创新 资源 的 加 速 流动 ， 逐 渐 形 成 了 能 
使 “ 独 角 兽 ”企业 不 断 涌现 的 社会 土壤 ， 使 企业 能 够 在 短 时 间 内 抓 住 机 
会 ， 整 合资 源 ， 爆 发 式 成 长 为 " 独 角 兽 "。 当 前 ,“ 独 角 兽 ”企业 在 某 种 
程度 上 已 成 为 彰显 一 个 国家 创新 能 力 的 评价 指标 ， 是 全 球 各 路 资本 竞 
相关 注 的 热点 和 焦点 所 在 。 

“创业 企业 有 很 多 ， 但 我 想 成 为 ' 独 角 兽 ' 企 业 。* 这 或 许 是 每 一 个 企 
业 创立 者 的 梦想 。 


(二 )“ 独 角 轩 ”是 如 何 修 炼 而 成 的 


在 全 民 创业 的 时 代 背 景 下 ， 创 业者 想 要 目 己 的 企业 有 机 会 成 为 “ 独 
角 兽 ”， 十 一 件 非常 困难 的 事情 。 成 为 " 独 角 叶 ”的 企业 往往 需要 艰 否 的 
早期 摸索 与 择 扎 ， 不 过 ， 一旦 它们 说 资本 市 场 关注 并 扶持 ， 或 在 市 场 
上 的 优势 地 位 已 经 被 足够 多 的 用 户 认 知 以 后 ,“ 独 角 兽 ”的 地 位 就 几乎 
莫 定 了 。 但 是 独 角 轩 是 怎么 修炼 的 呢 ? 它 不 是 一 下 子 束 出 来 的 ， 而 是 
在 每 件 事 上 通过 运用 小 数据 思维 ， 一 点 一 滴 做 出 来 、 成 长 起 来 的 。 


(1) 初创 期 


企业 初创 期 泛 指 从 企业 刚刚 创立 开始 ， 一 直到 获得 天 使 轮 融 资 的 
阶段 ， 往 往 都 有 资金 短缺 、 人 才 芒 乏 (通常 只 有 创始 人 及 为 数 不 多 的 
核心 员工 ) 、 业 务 开拓 吃力 、 企 业 文化 及 各 项 制度 需要 健全 等 问题 需 
要 解决 。 要 想 在 这 样 的 环境 中 脱颖而出 ， 创 业者 需要 利用 小 数据 思维 
做 好 以 下 几 点 。 


第 一 ， 必 须 先 要 找到 一 个 适合 创业 的 领域 。 瓜 子 二 手 车 董事 长 杨 
洛 育 在 创业 方 癌 选择 上 ， 给 出 了 四 个 小 数据 特征 : 一 是 所 选择 的 行业 
足够 大 ， 古 一 个 增 量 市 场 ， 二 是 行业 处 在 抛 点 期 ， 需 要 一 些 新 的 模式 
来 丰 覆 ， 三 十 新 需求 出 现 并 且 大 炬 发 ， 四 是 竞争 者 一 开始 不 存在 或 说 
早早 抛 在 身后 。 


第 二 ， 要 不 断 地 找 小 伙伴 同行 。 深圳 市 奔跑 科技 有 限 公 司 创始 
人 、 前 华为 高 管 任 至 刚 认为 合伙 人 必须 具备 一 个 关键 的 特征 ， 融 是 一 
定 要 找 有 创业 思维 的 人 作为 合作 伙伴 ， 而 不 会 考虑 工资 多 少 、 风 险 大 
小 等 问题 。 因 为 创业 和 打工 完全 是 两 种 截然 不 同 的 思维 ， 如 采 在 找 合 
作 伙 伴 的 时 候 ， 还 没有 完成 从 打工 思维 转变 成 创业 思维 ， 那 么 此 人 基 
本 就 只 能 作为 员工 而 不 是 合作 伙伴 来 加 入 。 

第 三 ， 选 择 做 对 用 户 有 价值 的 事情 。 这 个 价值 是 指 解决 实 实在 在 
的 和 需求， 而 不 古物 空 半 出 的 伪 需 求 。 商 业 的 本 质 其 实 束 是 为 人 民 服 
务 ， 你 只 有 服务 好 人 民 ， 人 民 才 会 为 你 服务 ， 愿 意 拿 出 钱 购买 你 的 服 
务 或 产品 。 无 论 古 什么 物品 ， 哪 怕 小 至 一 瓶 水 部 是 在 为 人 民 服 务 的 。 
一 瓶 水 ， 虽然 只 是 一 个 小 数据 个 体 ， 但 它 解 决 的 是 人 们 口 淘 的 问题 ， 
> We 

第 四 ， 寻 找 最 好 的 时 机 。 每 个 人 都 希望 找 准时 机 ， 但 好 时 机 十 不 
会 举 痢 牌子 告诉 大 家 它 来 了 的 。 如 采 猪 都 看 到 风口 来 了 飞 上 了 天 ， 这 
个 时 候 你 再 冲 进去 肯定 征 晚 了 。 真 正 能 抓 住 机 会 的 ， 一 定 是 那些 能 够 
看 到 小 数据 的 少数 人 ， 明 明 现 在 是 睛 天， 却 考虑 到 明天 刮 风 ， 后 天 下 
雨 坚 么 办 的 人 。 


(2) 成 长 期 


创业 公司 的 成 长 期 一 般 特 指 A 轮 和 B 轮 融资 的 阶段 ， 此 时 企业 产品 
逐渐 成 熟 ， 已 经 开始 在 市 场 中 推广 验证 了 一 段 时 间 并 试图 将 业务 进行 
复制 增长 的 阶段 。 这 个 阶段 和 人 的 青春 期 非常 相似 ， 它 充满 了 波折 、 
版 逆 、 冲 突 ， 大 多 创业 首都 认为 这 是 压力 最 大 的 时 期 。 那么 如 何 运用 
小 数据 思维 应 对 成 长 期 的 烦恼 呢 ? 

第 一 ， 不 要 一 个 人 战斗 。 在 企业 初创 时 期 ， 由 于 人 数 较 少 ， 往 往 
是 一 人 身 兼 多 职 。 很 多 创业 者 习惯 自己 打 全 部 责任 ， 总 觉得 没 人 能 分 
担 自己 的 压力 ， 这 是 一 种 大 而 杂 的 管理 方式 。 但 是 一 个 成 功 的 企业 ， 
它 的 组 织 结构 是 非常 清晰 的 。 正 所 谓 “ 订 省 虽 小 ， 五 脏 俱全 ”。 一 个 企 
业 到 了 成 长 期 ， 应 该 配 有 相应 管理 职能 的 部 门 ， 将 每 个 人 放 在 其 最 有 
优势 的 岗位 上 。 这 时 企业 的 创业 者 就 应 将 权限 分 配 到 每 个 岗位 ， 发 挥 
个 体 的 作用 ， 以 提高 企业 整体 的 工作 效率 ， 同 时 也 可 避免 因 部 门 职责 
不 清 造 成 的 低 效率 和 高 成 本 。 

第 二 ， 让 管理 规章 制度 化 。 企 业 是 人 的 集合 ， 是 为 了 实现 搞 好 企 
业 生产 经 营 活动 这 个 目标 而 集合 的 ， 这 个 事实 本 身 就 制约 着 人 们 要 按 
目标 需要 行动 。 这 时 企业 管理 者 就 需要 运用 小 数据 思维 ， 明 确 每 一 项 
工作 的 职责 要 点 、 操 作 流程 、 管 理 规范 、 权 利 义 务 等 ， 建 立 一 整套 完 
整 的 规章 制度 ， 让 每 个 个 体 都 能 在 约束 的 环境 中 充分 享受 到 自由 ， 维 
护 自身 应 有 的 权益 。 这 既是 为 了 保障 公司 与 个 人 的 共同 利益 ， 也 有 助 
于 企业 行为 和 企业 员工 行为 的 统一 化 。 

第 三 ， 要 坚持 信仰。 创业 需要 时 间 ， 但 创业 者 肯定 会 有 一 个 因为 
发 展 慢 而 溪 丧 ， 或 因为 疲劳 而 想 放 弃 的 阶段 。 此 时 创业 者 应 该 提醒 自 
己 ， 创 业 刚 开始 总 有 什么 是 你 坚信 的 ， 你 坚信 你 能 带 来 价值 ， 改 变 行 
业 ， 提 升 效率 等 ， 这 是 你 创业 的 核心 价值 ， 也 是 你 心中 牢记 的 小 数 
据 。 创 业者 无 论 什么 情况 ， 都 要 不 断 地 坚持 自己 的 信仰 和 初 束 ， 让 企 
业 不 断 发 展 。 


第 四 ， 制 定 一 张 实际 可 行 的 时 间 表 。 在 创业 初期 ， 多 任务 同时 进 
行 似乎 已 经 成 为 一 种 很 普遍 的 事情 。 但 是 到 了 企业 成 长 期 ， 创 业者 要 
据 弃 这 种 做 法 ， 应 该 将 每 一 项 工作 的 时 间 计 划 进 行 合 理 安排 ， 并 将 这 
些 任务 完成 时 点 的 小 数据 牢记 于 心 。 如 采 你 没有 将 为 实现 目标 而 采取 
的 步 又， 以 及 期 望 实现 目标 的 时 间 落 实 到 笔头 上 ， 那 么 按照 计划 行事 
将 会 变 得 困难 。 并 且 ， 这 人 句 话 的 重点 在 于 “实际 可 行 ”， 创 业者 要 经 角 
回头 看 看 你 的 时 间 表 ， 关 注 你 每 一 项 工作 完成 的 进度 数据 ， 并 根据 需 
要 随时 对 时 间 表 进行 更 新 。 


(3) 扩张 期 


企业 扩张 期 一 般 指 企 业 市 场 份额 逐步 提升 ， 不 少 风险 投资 基金 也 
强权 欲 动 ， 如 果 创始 人 在 前 期 束 有 资本 战略 的 考虑 ， 那 么 此 时 ， 企 业 
已 进行 了 几 轮 融资 的 阶段 。 此 时 企业 内 各 个 领域 都 已 建立 系统 化 、 规 
范 化 现代 企业 制度 、 战 略 目标 明确 、 组 织 架 构 合理 、 工 作 流 程 清晰 、 
分 工 职 责 明 了 ， 同 时 ,信息 化 运用 广 沁 、 效 果 显 闭 。 但 市 场 中 也 充满 
着 与 企业 同类 型 并 顾 有 实力 的 竞争 者 ， 很 多 创业 者 在 这 个 阶段 可 能 
会 “大 意 失 荆州 *。 因此 在 这 个 阶段 ， 核 心 是 管理 ， 创 业者 应 通过 小 数 
据 思 维 设计 出 科学 的 企业 管理 机 制 ， 让 每 一 个 板块 都 有 领军 人 物 并 且 
以 创业 心态 投入 工作 。 

第 一 ， 建 立 完 善 的 激励 约束 机 制 。 公 司 规模 扩大 往往 市 来 其 股权 
的 分 散 化 ， 资 本 所 有 者 与 经 营 者 相 分 离 ， 所 有 者 不 直接 参与 日 常 的 经 
营 管 理工 作 ， 因 此 必须 建立 一 套 完整 的 激励 约束 机 制 。 一 是 建立 科学 
的 薪酬 体系 ， 利 用 小 数据 指标 去 考核 与 激励 ， 明 确 包 括 报酬 构成 、 数 
量 以 及 与 何 种 业绩 指标 挂钩 等 KPI (关键 绩效 指标 ) 数据 ， 有 效 激励 
经 营 者 。 二 是 为 员工 提供 有 效 的 普 升 机 会 通道 。 普 升 机 会 的 减少 可 能 
造成 员工 油 励 不 足 、 流 动 性 增加 等 现象 ， 企 业 可 以 通过 小 数据 指标 为 
每 个 员工 进行 职业 生涯 点 的 规划 ， 提 供 有 苋 争 力 的 薪酬 和 系统 的 培训 


计划 ， 完 善 考评 和 晋升 机 制 ， 提 供 管理 、 技 术 等 多 渠道 发 展 途径 等 方 
式 ， 来 实现 员工 个 人 发 展 的 需要 。 

第 二 ， 确 保 产 品 创新 与 迭代 在 可 控 范 围 。 企 业 在 继续 挖掘 和 深入 
开发 现 有 产品 的 同时 ， 也 会 适度 地 加 大 产品 创新 力度 、 扩 大 产品 组 
合 ， 确 保 产 品 市 场 份额 的 稳定 增加 。 但 并 不 意味 着 企业 已 经 做 成 了 一 
个 产品 ， 再 做 成 一 个 产品 是 顺理成章 的 事 。 因 为 对 于 绝 大 多 数 人 和 绝 
大 多 数 企 业 来 讲 ， 他 们 都 只 会 串 行 不 会 并 行 ， 部 只 擅长 做 完 一 件 事 再 
做 男 一 件 事 ， 无 法 同时 并 行 两 件 事 。 这 时 管理 者 束 要 用 小 数据 来 判 
断 ， 如 有 果 做 一 件 事 难度 是 A， 并 行 做 两 件 事 的 难度 不 是 Ax2 的 话 ， 我 们 
忠 要 评估 十 Ax3 还 是 Ax4， 确 保 在 我 们 力所能及 的 范围 。 如 末 对 产品 
创新 认识 不 足 ， 我 们 束 会 看 到 很 多 “一 代 送 王 ? 式 的 企业 ， 在 一 个 产品 
上 成 功 了 然后 失败 在 多 元 化 上 。 

第 三 ， 不 要 言 目 扩张 渠道 。 企 业 在 扩张 期 往往 面临 着 巨大 的 任务 
压力 ， 渠 道 扩张 必 不 可 少 。 但 在 企业 准备 扩张 新 渠道 时 ， 首 先 一 定 要 
看 渠道 所 在 市 场 是 不 是 目 己 的 核心 市 场 ， 并 且 核 心 市 场 建设 得 如 何 。 
这 里 需要 用 小 数据 去 调研 市 场 ， 渠 道 所 在 市 场 的 总 体 容 量 有 多 少 ? 客 
户 总 量 有 多 少 ? 预 估 转 化 率 如 何 ? 是 否 能 作为 目 己 的 根据 地 ? 如 采 企 
业 目 喘 根本 没有 几 个 根据 地 市 场 ， 暂 时 先 不 要 去 想 快 速 扩 张 渠 道 。 没 
有 形成 根据 地 的 企业 ， 说 明 自 己 业务 团队 的 力量 还 不 足 。 即 便 有 外 部 
渠道 文 撑 ， 仍 然 难以 燃烧 起 旺季 之 火 。 


(4) 成 熟 期 


企业 成 熟 期 十 指 企 业已 经 进入 了 最 后 冲刺 的 阶段 。 正 常情 况 下 ， 
该 阶段 企业 应 已 完成 了 整体 建设 ， 并 即将 成 为 市 场 中 的 “ 独 角 兽 ”。 此 
时 企业 应 利用 精确 的 小 数据 对 比 与 分 机 ， 研 判 目 己 与 竞争 对 手 的 真实 
过 距 ， 做 出 最 后 的 决策 。 


第 一 ， 继 续 保 持 并 巩固 目 身 优势 。 成 熟 期 的 企业 必须 继续 保持 和 
巩固 既 有 核心 业务 的 竞争 优势 ， 对 现 有 生产 能 力 不 断 进 行 控 握 。 此 时 


企业 应 通过 与 竞争 对 手 的 关键 数据 进行 对 比 ， 考 处 采用 资本 策略 去 兼 
并 市 场 中 的 中 小 企业 ， 以 吸收 存量 业务 去 挤 压 对 于 ;或 是 从 内 部 管理 
中 要 效益 ， 以 利用 成 本 策略 与 价格 策略 去 挑战 对 于 ;从 而 巩固 企业 目 
身 优势 ， 抢 占 和 完 机 ， 继 续 保 持 龙 尖 地 位 。 


第 二 ， 始 终 你 持 企 业 的 活力 。 在 企业 业绩 较 好 、 市 场 环境 也 非常 
有 利 的 环境 下 ， 企 业 也 一 定 要 进行 持续 的 变 章 ， 树 立 “ 变 才 古 唯一 不 
变 ” 的 思想 ， 并 要 始终 传达 这 样 的 理念 给 全 体 员 工 : 一 旦 懈 候 下来， 可 
能 开会 落后 。 这 时 ， 企 业 也 可 利用 每 日 小 数据 的 公布 ， 让 每 个 员工 都 
清楚 地 知道 企业 与 市 场 的 状况 ， 保 持 对 市 场 的 敏感 性 ， 把 这 样 的 变化 
作为 变革 的 动力 ， 使 企业 保持 活力 。 

第 三 ， 尽 量 避 免 犯 错误 。 往 往 在 关键 时 刻 ， 一 个 英明 的 决策 可 以 
让 濒于 破产 的 企业 起 死 回 生 ， 而 一 个 错误 的 决策 则 会 把 企业 推 向 万 丈 
深渊 。 在 这 段 时 期 里 ， 企 业 领导 者 必须 要 车 于 研究 和 分 析 问 题 ， 抓 住 
事物 的 本 质 ， 抓 住 小 数据 的 特征 ， 闫 探 风险， 防微杜渐 ， 重 视 企 业 人 存 
在 的 每 一 个 问题 ， 并 在 错误 面前 做 出 正确 的 决策 。 


第 四 ， 永 远 不 要 保 下 学 习 的 脚步 。 企 业 作为 一 个 系统 ， 其 面临 的 
环境 是 不 断 变 化 的 。 在 这 样 复 洒 多 变 的 形势 下 ， 企 业 要 想 生 存 和 发 
展 ， 束 要 不 断 地 创新 ， 以 变 应 变 。 而 应 变 能 力 的 强 弱 来 源 于 不 断 地 学 
习 ， 来 源 于 知识 的 日 积 月 标 。 因 此 ， 企 业 必须 勤学 否 练 ， 不 断 补 充 包 
括 人 、 组 织 、 决 策 、 沟 通 、 技 术 等 小 数据 知识 ， 时 刻 保持 企业 的 认 知 
水 平 走 在 行业 的 前 列 。 


(三 ) 寻找 “ 独 角 兽 ”也 需要 小 数据 思维 


对 于 风险 投资 而 言 ， 节 重要 的 藉 是 要 发 现 “ 独 角 兽 ”、 投 中 “ 独 角 
兽 ”， 而 且 要 确保 每 一 期 基金 里 面 能 投 中 一 到 两 个 “ 独 角 轩 ?才能 较 好 地 
生存 下 去 。 投 中 一 个 “ 独 角 兽 ”基本 上 可 以 把 基金 赚 回 来 ， 投 中 两 个 “ 独 


角 上 组”， 可 能 基金 有 几 倍 的 回报 。 如 果 投 中 三 个 以 上 的 “ 独 角 骨 ”， 这 个 
基金 回报 会 在 这 个 行业 里 面 变 成 TOP 〈 头 部 ) 的 情况 。 那 么 要 想 投 
中 “ 独 角 胃 ”"， 前 先 要 考虑 的 便 是 如 何 寻 找 “ 独 角 轩 ”。 

梅花 天 使 过 世 春 在 谈 到 如 何 发 现 * 独 角 绪 ?时 ， 他 的 观点 是 依靠 小 
数据 ， 先 选 人 。 一 个 企业 的 价值 ，90% 以 上 在 团队 身上 ， 一 个 团队 的 
价值 80% 以 上 在 创始 人 号 上 。 发 现 “ 独 角 兽 ”， 并 不 是 和 匈 发 现 好 的 项 
目 ， 而 十 说 先 发 现 好 的 创始 团队 或 者 发 现 好 的 CEO。 投 A 轮 时 可 以 看 
产品 ， 投 B 轮 时 可 以 看 数据 ， 投 C 轮 时 可 以 看 所 谓 的 成 长 曲线 或 者 财务 
模型 ， 但 是 投 天 使 轮 时 ， 并 没有 更 多 可 参考 的 依据 ， 只 能 看 人 ， 看 这 
个 创业 者 的 成 长 潜力 。 


蝙蝠 资本 创始 合伙 人 届 田 将 比较 成 功 的 创始 团队 归 为 三 个 小 数据 
特征: 一 是 他 们 大 部 分 之 前 创业 过 ， 即 使 没有 创业 ， 他 们 在 大 学 阶段 
也 做 过 各 种 各 样 的 小 生意 ， 都 非常 有 生意 头脑 ， 而 且 有 这 方面 的 创业 
经 验 ; 二 是 这 些 人 都 曾 在 BAT (百度 、 腾 讯 、 阿 里 巴巴 ) 或 者 其 他 的 
大 型 的 ， 或 者 百 亿 美元 的 互联 网 公司 ， 担 任 过 中 层 的 职务 ， 训 过 团 
队 ， 打 过 硬仗 ， 从 零 做 起 一 项 业务 ， 而 且 在 市 场 竞 争 的 情况 下 取得 过 
不 错 的 业绩 ; 三 征 这 些 团 队 不 是 一 个 人 ， 坪 大 概 三 四 个 人 ， 三 四 个 人 
也 不 是 临时 拼 姿 的 团队 ， 他 们 之 前 合作 过 很 长 时 间 ， 无 论 是 共同 创 
业 ， 还 是 在 大 公司 作为 同事 相互 了 解 ， 有 共同 的 理想 ， 比 较 有 软 眉 。 
如 果 具 备 以 上 三 个 小 数据 特征 ， 即 便 有 时 候 投 资 人 在 赛 道上 不 是 完全 
看 得 很 清楚 ， 他 们 往往 也 愿意 投资 这 样 的 团队 。 

除了 “人 ”这 个 特征 外 ， 其 实 无 论 是 天 使 轮 ， 还 是 A 轮 、B 轮 力 至 其 
他 轮 次 的 投资 ， 一 个 企业 是 否 值得 被 投资 ， 在 投资 人 的 逻辑 中 永远 包 
台 以 下 几 个 特征 ， 征 需要 投资 人 进行 评估 的 。 

这 些小 数据 特征 包括 : 明确 的 市 场 定 位 、 完 整 的 市 场 计 划 、 清 晰 
且 详 细 的 竞争 对 手 分 析 、 积 极 的 销售 策略 、 可 以 理解 的 专 有 技术 、 清 
晰 的 商业 计划 和 执行 摘要 、 高 成 长 的 企业 潜力 、 附 带 假 设 条 件 的 财务 
预测 、 合 理 的 利益 分 配方 式 、 实 现 正 现金 流 的 周期 、 糟 糙 情 况 下 的 财 


务 绥 冲 、3~5 年 的 退出 机 制 、 投 资 保 护 机制 、 投 资 额 幅 度 、 资 金 使 用 计 
划 、 后 续 融 资 计划 、 合 理 公平 的 估 值 方法 、 管 理 层 的 薪酬 等 。 


四 、 小 数据 与 长 尾 分 布 


(一 ) 长 尾 分 布 : 一 个 决定 企业 生存 的 二 八 原理 


近 几 年 来 ， 随 着 互联 网 科技 的 日 益 完 善 ， 一 个 新 的 名 词 逐 渐 被 大 
家 熟识 ， 就 是 “长 尾 ” (The Long Tail) ， 也 称 为 “长 尾 分 布 理 论 ”。 这 个 
词 最 初 由 美国 《 连 线 》 的 总 编辑 克 里 斯 : 安 德 森 (Chris Anderson) 于 
2004 年 提出 来 ， 这 个 词 可 以 通俗 地 解释 为 : 只 要 存储 和 流通 的 渠道 足 
够 大 ， 需 求 不 旺 或 销量 不 佳 的 产品 共同 占据 市 场 的 份额 甚至 可 以 和 那 
些 数量 不 多 的 热卖 品 所 占据 的 市 场 份 额 相 匹敌 或 更 大 。 长 尾 理 论 认 
为 ， 由 于 成 本 和 效率 的 因素 ， 过 去 人 们 只 会 关注 重要 的 人 或 事 ， 如 果 
用 需求 曲线 来 描述 ， 受 精力 与 成 本 等 客观 因素 的 限制 ， 人 们 通常 只 会 
关注 曲线 的 “ 头 部 ”， 而 选择 忽略 曲线 的 “尾部 ”。 长 尾 即 是 指 需求 曲线 
长 长 的 尾部 (如 图 10-2 所 示 ) ， 一般 也 代表 了 相对 冷门 或 小 众 的 产 


口 
HOD° 


主要 部 分 “长 尾 后 种 


图 10-2 长 尾 分 布 图 


传统 的 经 济 思维 告诉 我 们 20% 的 产品 市 来 80% 的 收益 ， 我 们 需要 
关注 的 是 需求 曲线 的 头 部 而 非 尾 部 ， 需 要 关注 少数 关键 利润 创造 者 的 
需求 而 非 大 多 数 创 千 少 数 利润 者 的 需求 。 如 果 一 家 早餐 店 70% 的 早餐 
都 被 几 家 固定 公司 订购 ， 那 么 这 家 店 将 关注 这 几 家 公司 的 早餐 口味 建 
议和 要 求 ， 对 其 他 来 店 里 买 早 餐 的 散 客 的 口味 需求 则 不 会 太 在 意 。 但 
征 在 如 今 这 个 发 达 的 网 络 时 代 ， 大 只 依靠 大 数据 来 锁定 主流 市 场 ， 这 
些 长 长 的 尾巴 可 能 会 给 我 们 致命 一 击 。 


(二 ) 亚马逊 是 如 何 成 功 的 ? 


目前 ， 借 助长 尾 效 应 ， 已 有 众多 企业 获得 了 丰厚 的 利润 。 如 著名 
的 Google 公 司 的 主要 利润 并 不 是 来 目 大 型 企业 的 广告 ， 而 是 小 公司 的 
广告 ， 电 商 e-Bay ( 易 贝 ) 的 获 利 主要 也 来 目 长 尾 商品 ， 亚 马 逊 网 络 书 
店 的 书籍 销售 额 中 ， 有 25% 是 依靠 排名 10 万 以 后 的 “冷门 ”书籍 。 


在 亚马逊 创始 之 初 ， 创 始 人 贝 索 斯 敏锐 地 意识 到 电子 商务 将 改变 
图 书市 场 经 济 的 特征 ， 因 为 图 书 的 种 类 和 数量 不 再 受到 地 域 的 限制 ， 
各 地 分 散 的 特殊 种 类 疼 书 的 需求 者 可 以 合 在 一 起 形成 规模 经 济 ， 从 而 
可 以 为 居住 在 小 镇 且 具 有 特殊 偏好 ， 很 难 找到 目 己 需要 的 图 书 的 读者 
提供 他 们 所 需要 的 书籍 ， 形 成 典型 的 长 尾市 场 。 这 不 仅 有 利于 读者 ， 
也 有 利于 作者 和 出 版 商 。 和 凭借 电子 商务 一 键 式 服务 的 便捷 方式 ， 克 省 
了 大 量 的 搜寻 成 本 和 中 间 环 节 的 流通 成 本 ， 那 些 以 往 未 能 浮 出 水 面 的 
长 尾 产 品 一 下 子 多 起 来 ， 所 以 ， 从 早期 开始 ， 亚 马 逊 的 岁 书 种 类 束 超 
过 了 任何 一 家 实体 书店 ， 一举 成 为 全 球 最 大 的 网 上 书店 。 


长 尾 的 生命 力 ， 以 互联 网 为 基础 ， 通 过 网 络 实现 实时 互动 交易 ， 
在 第 一 时 间 满 足 消 费 者 的 需求 并 对 其 不 断 变 化 的 需求 进行 反馈 。 使 广 
告 的 成 本 大 大 降低 ， 其 传播 形式 的 改变 也 同时 促使 了 大 量 产 品 的 销 
售 。 


根据 统计 学 术语 ， 长 尾 曲线 中 的 “ 头 ” 是 指正 态 曲 线 中 间 的 突起 部 
分 ;“ 尾 ? 指 两 边 相 对 平缓 的 部 分 。 从 需求 的 角度 来 看 ， 大 多 数 的 需求 
会 集中 在 头 部 ， 而 分 布 在 尾部 的 需求 是 个 性 化 、 和 零散 和 小 量 的 。 这 
样 ， 在 需求 曲线 上 的 一 条 长 长 的 “尾巴 ”就 由 这 部 分 差异 化 的 、 少 量 的 
需求 形成 了 。 当 这 样 个 性 化 、 和 零散 和 人 小 量 的 市 场 相 加 起 来 时 ， 一 个 比 
主流 市 场 还 大 的 市 场 束 形成 了 ， 这 驶 是 所 谓 的 长 尾 效应 。 亚 马 逊 为 消 
费 者 提供 了 接近 无 限 的 选择 ， 它 几乎 收集 到 了 接近 100% 的 书籍 书目 。 
为 什么 亚马逊 能 够 迅速 准确 地 找到 目 己 的 定位 呢 ? 事实 上 这 是 来 目 其 
创始 人 对 于 图 书市 场 和 读者 市 场 的 敏 镜 观 察 ， 贝 索 斯 通过 将 这 两 个 市 
场 进行 匹配 发 现 了 数 不 清 的 长 尾 需 求 ， 并 且 和 直击 实体 书店 在 解决 长 尾 
需求 方面 的 痛 点 : 引进 小 众 需要 的 书籍 的 成 本 与 成 功 售卖 这 些小 众 书 
籍 获取 的 收益 之 间 不 匹配 的 风险 。 而 亚马逊 通过 电 商 平台 有 效 地 汲取 
长 尾 需 求 ， 并 且 通 过 淡化 时 间 效 应 来 将 这 些 需 求 对 应 的 成 本 摊薄 了 。 
事实 证 明 ， 亚 马 逊 打造 了 一 个 电 商 平台 的 典范 ， 并 且 逐 贿 扩 充 目 己 的 
商业 版 图 ， 成 功 地 将 小 数据 拓展 成 了 大 数据 。 因此 ， 亚 号 进 迅 速 通 过 
利用 长 尾 需 求实 现 了 规模 效应 ， 而 规模 效应 恰恰 是 长 尾 理 论 个 性 化 、 


差异 化 产品 供给 的 先决 条 件 。 前 面 已 经 说 过 ， 亚 马 示 已 经 利用 大 数据 
技术 获得 了 巨大 的 成 功 。 难 得 的 是 ， 亚 马 逊 没有 被 目 己 已 经 获得 的 成 
功名 骨头 脑 ， 而 是 从 线 上 又 走向 了 线 下 ， 在 线 下 开设 实体 书店 ， 将 目 
光 聚 焦 到 了 那些 喜欢 在 实体 书店 购书 看 书 的 中 老年 人 等 群体 。 这 样 来 
看 ， 亚 马 逊 在 经 营 上 的 理念 和 模式 是 : 从 线 下 跃 居 线 上 ， 又 从 线 上 和信 
梧 线 下 ， 从 小 数据 成 长 为 大 数据 ， 又 从 大 数据 收敛 到 小 数据 。 这 样 的 
商业 目光 前 脆 ， 确 实 足 以 推动 亚马逊 走 同 顶 尖 。 


五 、 小 数据 与 随机 漫步 


(一 ) 随机 漫步 :一 个 不 确定 时 代 的 风口 


随机 漫步 理论 又 称 投 飞镖 理论 。20 世 纪 60 年 代 中 期 ， 美 国 国会 讨 
论 基 金立 法 的 时 候 ， 有 一 天 参议 院 议 员 带 了 一 块 贴 满 股 票 名 字 的 飞镖 
辑 走 进 会 场 ， 然 后 开始 投掷 飞镖 ， 把 投 中 的 股票 作为 购买 的 资产 组 
合 。 结 采 被 他 “ 乱 镖 ? 投 中 的 资产 组 合 最 终 的 收益 率 情况 甚至 优 于 基金 
公司 的 相关 专家 所 建立 的 资产 组 合 ， 其 业绩 表现 更 加 优秀 。 因 此 ， 这 
位 参议 员 笃 信 并 且 以 此 证 明 “ 随 机 ”理论 的 正确 性 。 

随机 漫步 理论 的 核心 束 是 指出 市 场 价格 是 市 场 对 随机 到 来 的 事件 
言 轧 做 出 的 反应 ， 投 次 者 的 意志 并 不 能 主 寻 事 态 的 发 展 。 不 过 ， 这 一 
理论 却 受 到 了 学 术 界 的 普 裔 质疑。 有 学 者 认为 ,“ 随 机 漫步 理论 是 非 第 
错误 的 ， 股 市 交易 作为 目 然 界 的 一 个 群体 活动 症 有 着 显著 规律 的 ， 头 
部 和 帮 部 形成 都 有 着 惊人 的 一 致 规律 ， 掌 握 股 市 规律 的 多 少将 决定 你 
和 掌握 财富 的 多 少 。 所 以 说 ， 市 场 不 是 没有 规律 ， 而 是 缺少 发 现 规律 的 
眠 睛 ”。 


随机 漫步 理论 认为 大 数据 技术 下 能 够 发 现 和 确定 的 规律 对 于 具体 
的 决策 问题 是 没有 效 琳 的 ， 随 机 漫步 理论 更 加 侧重 的 是 规律 之 外 的 波 
动 问 题 。 原 因 主要 是 信息 不 对 称 的 干扰 。 市 场 的 变动 可 能 是 有 规律 可 
循 的 ， 无 论 是 学 界 还 是 业界 都 想 运用 各 种 数理 统计 方法 以 及 大 数据 等 
方法 进行 分 机 ， 但 是 总 体 来 说 ， 研 究 成 采 仍 然 是 滞后 市 场 一 步 甚 至 好 
几 步 的 。 如 有 果 我 们 把 目标 聚焦 于 个 体 投 资 者 ， 股 市 变动 的 随机 性 殉 显 
得 更 加 严重 。 因 为 ， 投 资 者 分 析 市 场 ， 信 息 永远 古 不 全 面 的。 而 且 在 
不 全 面 的 信息 的 基础 上 ,信息 还 古 一 直 乱 序 变动 的 。 这 样 ， 不 管 你 起 


么 分 析 ， 结 果 都 不 可 能 真正 准确 ， 市 场 的 表现 可 能 偶尔 与 你 的 预测 一 
致 ， 这 只 能 说 是 你 的 运气 与 实力 的 绝妙 综合 ， 是 可 遇 而 不 可 求 的 。 


什么 是 一 只 好 股票 ? 人 简单 粗 骏 的 答案 也 许 束 古 ， 股价 越 来 越 高 的 


那么 我 们 如 何 能 够 准确 预测 未 来 股价 的 走向 呢 ? 在 这 里 举 个 例子 
进行 说 明 。 

给 你 某 一 只 股票 的 实时 价格 数据 ， 让 你 预测 1 分 钟 、5 分 钟 、10 分 
钟 后 的 涨 跌 情况 ， 你 可 以 “ 买 涨 * 或 者 “ 买 跌 ”...... 猿 对 了 ， 连 本 带 利 总 
计 180% 的 回报 ， 猜 错 了 ， 全 赔 。 在 这 种 情况 下 ， 原 本 50% 的 “准确 
率 ” 已 经 无 法 让 你 全 身 而 退 了 。 如 果 你 希望 在 这 种 设 定 下 ， 依 然 能 
够 “长 期 * 并 有 旦 “稳定 ”地 赚 到 钱 ， 至 少 要 保证 有 超过 70% 的 预测 准确 
率 。 而 这 几乎 是 不 可 能 的 事情 ， 也 就 是 说 ， 基 于 你 对 这 只 股票 的 历史 
数据 的 钻研 得 出 的 决策 结果 可 能 对 选择 股票 并 没有 什么 实质 性 的 帮 
助 。 


实际 上 ， 跟 前 面 所 说 的 是 一 样 的 ， 我 们 认为 选取 股票 是 一 场 技术 
与 运气 兼备 的 修行 。 这 几乎 是 一 个 超出 我 们 认 知 范围 的 问题 ， 因 为 市 
场 波动 的 影响 因素 太 过 复杂 ， 且 随 着 国情 、 社 会 事件 、 政 治 因素 以 及 
发 展 阶段 等 情况 而 变 得 越 来 越 复 杂 且 难以 掌控 。 即 使 是 一 个 像 上 帝 一 
样 明 守 秋 受 的 天 才 证 券 分 析 师 也 不 能 保证 做 出 正确 的 决定 。 更 为 重要 
的 是 ， 市 场 是 由 无 数 个 参与 者 构成 的 ， 而 人 的 决策 不 可 能 永远 保持 在 
一 个 理性 水 平 上 ， 更 符合 实际 的 情况 是 市 场 上 同时 有 很 多 人 在 犯错 
误 ， 引 发 了 市 场 的 不 规则 变动 。 市 场 的 变动 是 由 无 数 个 参与 者 的 最 终 
行为 所 决定 的 ， 而 每 个 参与 者 行为 决策 背后 的 判断 因素 是 他 人 无 法 掌 
握 和 应 对 的 ， 而 这 些 市 场 变动 最 终 会 影响 你 的 损失 和 获 利 情况 。 


但 是 随机 漫步 理论 并 不 等 于 告诉 投资 者 : 你 别 分 析 股 票 了 ， 财 着 
眼睛 掷 飞镖 吧 。 它 更 加 接近 于 告诉 投资 者 转换 思维 ， 因 为 世界 上 仍然 
有 很 多 优秀 的 投资 者 因为 能 够 更 加 准确 地 洞悉 市 场 ， 选 择 有 效 的 金融 
工具 和 风险 对 剖 工 具 来 应 对 市 场 的 变动 。 比 如 ， 书 菲 特 、 索 罗斯 这 样 
优秀 的 投资 家 ， 即 使 征 他 们 ， 也 不 能 保证 收益 可 以 一 成 不 变 的 稳定 ， 
在 某 一 阶段 他 们 的 利润 经 常会 大 幅 波 动 ， 但 他 们 可 以 运用 有 效 的 投资 
组 合 、 资 金管 理 来 获得 相对 稳定 的 高 于 他 人 或 市 场 的 平均 收益 。 我 们 
通常 读 很 多 解读 这 些 投资 大 家 的 著作， 部会 被 他 们 所 铸 束 的 经 济 芝 国 
所 折服 ， 认 为 只 有 有 钱 人 才能 采取 这 样 的 方式 变 得 更 有 钱 ， 没 钱 的 普 
通 人 根本 没有 这 个 胆识 物 力 一 撕 千 金 去 购买 很 多 对 冲 的 产品 。 其 实 
巴菲特 他 们 也 是 用 一 种 小 数据 思维 来 解决 这 个 问题 : 整个 市 场 系统 能 
不 能 被 我 所 掌握 ? 在 可 以 掌握 的 信息 的 推动 下 我 选择 一 些 产 品 进行 投 
次 ， 以 防 万 一 我 再 购买 一 些 反 向 变动 的 产品 进行 风险 对 冲 ， 可 能 短期 
来 看 我 整体 的 获 利 没 有 那么 丰厚 ， 但 我 却 能 够 更 加 从 容 淡 定 地 读 取 市 
场 的 变动 然后 进行 调整 。 

对 于 普通 的 投资 者 来 说 ， 巴 菲 特 的 实际 投资 行为 可 能 是 我 们 无 力 
效仿 的 ， 但 是 他 对 于 市 场 的 认识 和 对 于 上 自己 风险 容忍 程度 的 认识 是 非 
党 清晰 和 透彻 的 。 在 这 里 ， 我 们 可 以 将 小 数据 思维 怒 接 过 来 ， 把 选取 
股票 这 件 事 转 化 为 选取 企业 ， 可 能 会 让 投资 者 的 思路 更 加 开阔 和 明 
确 。 这 个 世界 一 直 在 进步 ， 经 济 也 一 直 在 发 展 。 在 这 个 前 提 下 ， 有 些 
企业 惑 是 可 以 做 到 和 世界 一 起 进步 ， 尽 管 数量 没有 那么 多 ， 但 是 也 绝 
对 不 少 。 所 以 股价 最 终 体现 的 其 实 是 企业 价值 的 增长 。 而 判断 一 个 企 
业 优 质 与 否 的 最 有 效 方式 之 一 束 是 研究 公司 财报 。 一 家 公司 的 财报 好 
比 体检 报告 ， 我 们 可 以 从 中 读 到 很 多 东西 。 只 要 搞定 了 “财报 ?这 一 件 
事 ， 你 束 可 以 独 目 踏 上 “寻找 优质 公司 之 路 ?了 。 束 好 像 当 你 学 会 了 如 
何 查 词典 之 后 ， 从 某 种 程度 上 你 已 经 不 需要 英语 老师 了 ， 因 为 你 有 
了 “ 独 目 上 路 ”的 能 

虽然 我 们 对 随机 漫步 理论 的 优 缺 点 的 研究 不 是 很 多 ， 但 其 实 我 们 
不 必 将 其 正确 与 否 看 得 太 重 要 ， 认 识 到 随机 漫步 的 存在 并 且 理 解 它 的 


作用 就 够 了 。 随 机 漫步 带 给 我 们 的 最 大 局 示 是 : 随时 提醒 我 们 顺应 市 
场 的 发 展 趋势 并 根据 实际 情况 不 断 修 正 ， 殉 服 主观 脐 断 或 盲目 目 信 。 


一 、 大 数据 时 代 隐 忧 


(一 ) 大 数据 的 遗 起 之 道 


《删除 》 一 书 曾经 所 出: “ 遗 筷 ， 征 人 类 的 天 性 。 从 古 至 今 ， 人们 
不 断 莹 试用 本 能 、 语 言 、 绘 画 、 文 本 、 媒 体 、 介 质 ， 来 记 住 我 们 的 知 
识 。 于 年 以 来 ， 遗 筷 始 终 比 记忆 更 简单 ， 成 本 也 更 低 。 而 数字 时 代 颠 
和 窗 了 这 一 切 ， 我 们 惊 得 地 发 现 ， 如 采 真 的 记 住 一 切 ， 不 但 令 人 发 狂 ， 
而 县 直入 天 人 扰 名 瑟 9” 


党 无 疑问 ， 现 代 技术 已 经 从 根本 上 改变 了 能 够 被 记 住 的 信息 的 内 
容 ， 改 变 了 记 住 信息 的 方式 ， 也 改变 了 记 住 信息 所 需要 付出 的 代价 。 
技术 并 没有 迫使 我 们 去 记忆 ， 技 术 只 是 促进 了 遗 起 的 终止 。 完 赦 的 数 
字 化 记忆 ， 可 能 会 让 我 们 失去 一 项 人 类 重要 的 能 决策 能 

博 尔 赫 斯 的 短篇 小 说 《 博 闻 强 识 的 宇内 斯 》 体 现 了 这 一 论点 。 由 
于 一 次 狂 马 的 事故 ， 年 输 人 宇内 斯 失去 了 遗 扎 的 能 力 。 通 过 惊人 的 阅 
读 ， 他 积 素 了 大 量 关 于 经 典 文 学 作品 的 记忆 ， 但 却 无 法 超越 字面 的 意 
思 去 领会 作品 的 内 洱 。 一 旦 我 们 拥有 了 完善 的 记忆 ， 我 们 将 不 能 进行 
概括 与 抽象 化 ， 这 会 让 我 们 一 直 迷 失 在 过 去 的 琐碎 细 下 中 。 

一 个 真实 案例 ， 在 《研究 着》 的 报告 中 ， 一 位 病人 简称 为 AJ， 她 
是 美国 加 州 一 位 41 岁 的 妇女 ， 天 生 束 没有 遗 起 的 能 力 。 自 她 11 岁 开 
始 ， 她 几乎 能 记 住 每 天 发 生 的 事情 一 一 她 记 住 的 不 是 过 去 一 天 的 大 致 
感觉 ， 而 十 能 够 惊人 地 记 住 让 她 否 恼 的 详细 细 市 。 她 清楚 地 记得 ，30 
年 前 的 一 次 早餐 吃 了 什么 ; 她 能 够 回忆 起 谁 在 什么 时 候 给 她 打 了 电 
话 ; 她 能 够 记得 在 20 世 纪 80 年 代 看 过 的 电视 节目 每 一 段 都 演 了 什么 。 


她 甚至 不 需要 努力 地 回忆 就 能 想起 这 些 。 记 忆 对 她 而 言 很 简单 ”她 
的 记忆 是 “不 可 控 且 自动 的 "， 就 像 一 部 “永远 不 会 停止 的 "电影 。 

然而 这 带 给 AJ 的 并 不 是 超常 的 能 力 ， 恰 恰 相反 ， 她 的 记忆 不 断 地 
限制 了 她 做 决定 与 前 进 的 能 力 。 她 记 住 的 信息 包括 自己 经 历 的 、 感 党 
到 的 以 及 想到 的 事情 。 那 些 在 存储 与 回忆 大 量 信息 方面 拥有 超常 能 力 
的 人 ， 其 实 很 想 关 闭 他 们 记忆 往事 的 能 力 ， 至 少 是 想 暂时 关闭 。 持 续 
浮现 的 往事 让 他 们 感觉 受到 了 束缚 ， 这 种 束缚 非常 严重 ， 以 至 约束 了 
他 们 的 日 常生 活 ， 限 制 了 他 们 的 决策 能 力 ， 阻 得 了 他 们 与 正常 人 建立 
紧密 的 联系 。 当 这 种 影响 由 更 为 完整 且 更 易 获 取 的 外 部 数字 化 记忆 所 
引起 时 ， 影 响 可 能 会 更 强 。 

如 果 回忆 太 清 晰 ， 即 便 这 种 回忆 是 为 了 帮助 我 们 的 决策 ， 可 能 
会 使 我 们 困 于 记忆 之 中 ， 无 法 让 往事 消逝 。 完 美的 记忆 使 我 们 暴露 在 
过 滤 、 选 择 和 解释 的 挑战 前 ， 而 遗忘 通常 会 使 我 们 免 于 挑战 。 


(二 ) 小 数据 的 省 钱 之 道 


一 直 以 来 ， 大 数据 里 杂乱 的 、 非 结构 化 的 数据 都 是 企业 数据 治理 
的 心腹 之 患 。 尽 管 许多 企业 竭尽 所 能 保留 下 来 了 各 种 客户 、 内 部 流程 
及 运 剖 方面 的 数据 ， 但 是 将 这 些 裸 数 据 变 成 可 供 商业 智 能 及 分 析 乎 合 
处 理 的 东西 却 十 分 地 耗 时 耗 力 。 据 估计 ， 数 据 科学 家 80% 的 时 间 耗 在 
了 数据 清理 方面 。 从 这 个 角度 来 说 ， 数 据 科 学 家 这 一 职业 似乎 叫 I 全 监 
领 工 人 更 合适 。 而 且 ， 与 数据 科学 家 的 供应 量 相 比 ， 数 据 的 规模 只 会 
越 来 越 大 ， 复 杂 度 只 会 越 来 越 高 ， 而 现在 要 求 数据 转 换 要 以 近乎 实时 
速度 去 处 理 ， 靠 人 去 完成 那 种 规模 的 劳动 密集 型 工作 几乎 是 不 可 能 
的 * 

与 大 数据 相 比 ， 小 数据 集 是 指 那 些 通过 分 析 大 数据 集 得 出 的 具有 
特殊 属性 的 小 数据 的 集合 ， 这 些 数据 足以 找 出 企业 当前 的 问题 ， 并 可 


得 出 可 行 的 解决 方案 。 换 名 话说， 小 数据 集 是 可 以 给 企业 提供 可 访问 
和 易 理 解 的 数据 集 ， 以 保证 企业 能 得 到 及 时 、 直 观 的 数据 支持 ， 且 不 
需要 使 用 高 深 的 技术 和 昂 贯 的 工具 来 处 理 大 数据 。 这 样 企业 殉 可 以 通 
过 分 析 小 数据 集 的 方式 间接 挖掘 出 大 数据 中 级 藏 的 至 藏 ， 并 同样 能 得 
出 大 数据 的 结论 。 

目前 ， 越 来 越 多 的 企业 开始 青睐 小 数据 ， 一 些 企业 的 管理 者 直 言 
道 : 

“把 目 己 放 低 ， 先 做 好 小 数据 ， 因 为 小 数据 对 企业 往往 是 最 有 价值 
的 ， 尤 其 十 制造 业 。” 


“别人 做 大 数据 ， 我 们 做 小 数据 ， 而 且 要 把 小 数据 做 得 越 来 越 
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“战略 非常 重要 ， 但 它 是 急 不 起 来 的 。 做 好 小 事 促成 道上 的 正确 ， 
坚持 不 被 形势 腐化 。” 

“ 当 你 做 到 全 世界 成 本 最 低 、 劳 动 效率 最 高 、 能 耗 最 低 、 投 资 最 
少 ， 谁 还 会 去 关心 经 济 是 上 行 还 是 下 行 。 

“明道 而 非常 路 ， 坚 持 做 小 事情 ， 习 术 要 善 修正 。” 


而 在 市 场 上 ， 一 些 企业 则 利用 前 期 对 小 数据 进行 采集 与 运用 ， 通 
过 前 期 管控 的 方式 降低 企业 整体 的 运营 成 本 ， 实 现 企 业 的 省 钱 之 道 。 


比如 ， 分 豆 教育 是 在 线 教育 领域 中 运用 小 数据 思维 收集 学 生 数 据 
的 典范 。 分 豆 教育 主要 做 的 是 K12 (从 学 前 教育 至 高 中 教育 ) 教育 ， 
K12 的 核心 古 学 生 ， 因 此 在 学 生 数 据 的 来 源 上 ， 分 豆 教 育 就 定位 到 了 
学 生 学 习 最 主要 的 三 个 场景 : 校内 学 习 场 景 、 校 外 培训 场景 和 目 身 学 
习 场 景 。 而 校内 学 习 场 景 ， 占 据 整 个 学 习 时 间 的 绝 大 部 分 。 因 此 它 的 
小 数据 获取 一 一 校内 是 最 主要 的 来 源 。 这 也 使 分 豆 教育 在 生源 获取 成 
本 上 有 要 低 于 同业 竞争 对 手 许多 。 


此 外 ， 还 有 一 类 企业 则 是 依靠 大 数据 提炼 后 的 小 数据 ， 利 用 小 数 
据 分 析 去 改善 企业 原 有 的 业务 模式 ， 通 过 小 数据 提高 投入 产 出 比 ， 捧 
注 企业 的 整体 运营 成 本 ， 实 现 企 业 的 省 钱 之 道 。 


比如 ， 百 事 可 乐 的 做 法 很 们 单 ， 它 们 希望 花 的 每 一 分 钱 部 有 所 回 
报 ， 所 以 它们 直接 购买 了 社区 信息 优化 推广 公司 SocialFlow 的 服务 ， 利 
用 SocialFlow 对 数据 的 分 析 ， 从 而 知道 何 种 营销 活动 的 传播 效果 更 好 。 
而 广告 主 也 越 来 越 喜 欢 为 类 似 SocialFlow 的 服务 付费 ， 基 于 海量 数据 分 
析 然 后 得 出 小 数据 结论 以 改善 企业 的 襄 销 行为 。 


小 数据 在 个 人 应 用 方面 同样 有 效 。 王 建 锋 是 某 综合 类 网 站 的 纺 
辑 ， 基 于 访问 量 的 考核 站 编辑 每 天 都 要 面 对 的 事情 。 但 在 每 年 的 评比 
中 ， 他 都 号 称 是 PV (页 面 浏览 量 ， 王 。 原 来 他 的 秘密 就 是 只 做 热点 新 
闻 。 王 建 锋 养 成 了 看 百度 搜索 风云 榜 和 搜狗 热 搜 榜 的 习惯 。 所 以 ， 他 
会 优先 挑选 热 搜 榜 上 的 新 闻 事件 来 编辑 整理 ， 天 注 的 人 目 然 多 。 搜 狗 
拥有 输入 法 、 搜 索引 擎 ， 那 些 在 输入 法 和 搜索 引擎 上 反复 出 现 的 热 
词 ， 就 古 搜狗 热 搜 榜 的 来 源 ， 也 是 大 数据 精 位 后 的 小 数据 。 王 建 锋 通 
过 对 小 数据 的 对 比 ， 束 能 够 找 出 哪些 是 网 民 关 注 的 热点 。 


二 、 让 遗 环 回 归 音 仿 


(一 ) 起 挥 大 数据 ， 回 忆 小 数据 


大 数据 有 能 力 履 次 我 们 的 记忆 ， 并 可 能 会 影响 我 们 的 判断 。 人 小数 
据 则 远 不 及 大 数据 那样 浩瀚 繁杂 ， 有 时 甚至 只 是 零星 的 弱 信 号 ， 往 往 
被 淹没 在 噪声 中 。 但 正 因为 如 此 ， 它 们 往往 能 让 我 们 回忆 起 很 有 价值 
的 信息 。 

有 一 天 晚上 珍妮 在 家 ， 她 收 到 了 约 葛 发 来 的 一 封 电子 邮件 。 她 认 
识 约 参 20 年 了 ， 但 是 近 5 年 她 可 能 只 见 过 他 几 面 。 在 她 的 记忆 中 ， 由 于 
约翰 曾经 很 无 趣 ， 他 们 相处 得 并 不 愉快 。 


现在 ,约翰 发 来 电子 邮件 说 他 将 要 出 席 一 个 会 议 ， 而 珍妮 也 将 要 
在 这 个 会 议 上 发 言 ， 所 以 他 想 问 问 珍妮 到 时 和 是否 有 时 间 一 起 喝 杯 咖 
啡 。 珍 妮 并 没有 兴趣 ， 因 为 在 她 的 记忆 中 约翰 是 个 无 趣 的 人 。 


珍妮 无 意 地 搜索 她 的 邮件 文件 来 ， 几 秒 钟 之 内 ， 显 示 出 了 好 多 邮 
件 ， 时 间 几 乎 跨越 了 10 年 ， 邮 件 按 日 期 整齐 地 排列 看 ， 最 早 的 邮件 显 
示 在 最 顶端 ， 她 迅速 地 浏览 了 这 些 邮 件 。 

随 着 邮件 在 眼前 一 内 而 过 ， 她 偶然 发 现 了 一 封 完 全 不 同 的 邮件 ， 
勺 起 她 无 限 回 忆 : 他 们 周末 去 海 疙 儿 风 时 约翰 驾驶 着 时 晓 汽 车 ， 他 那 
丑陋 的 山羊 胡子 以 及 她 最 终 如 何 成 功 地 说 服 约 葛 剃 掉 了 它 。 多 么 有 趣 
的 时 光 啊 ! 她 又 重读 了 其 他 儿 封 往来 的 邮件 ， 她 想起 了 目 己 当时 那 种 
幸福 的 感觉 ， 这 让 她 犹豫 不 决 ， 其 至 她 已 经 不 确定 为 什么 后 来 他 们 竞 
发 展 成 那样 。 她 脑海 中 关于 老 朋 友 约 葛 的 美好 形象 一 下 被 回忆 起 来 。 


珍妮 长 至 在 想 ， 过 几 分 钟 我 该 如 何 跟 他 喝 咖啡 呢 ? 如 今 ， 珍 妮 已 经 很 
难 再 拒绝 约翰 的 邀请 了 。 


珍妮 的 反应 是 人 之 第 情 ， 也 是 典型 的 从 大 数据 记忆 到 小 数据 回忆 
的 经 典 案例 。 小 数据 的 刺激 改变 了 我 们 原本 完整 的 记忆 ， 让 我 们 更 加 
专注 于 目 己 所 愿 回忆 起 的 事物 。 这 也 恰恰 说 明了 即便 在 大 数据 时 代 ， 
我 们 仍 有 条 件 选 择 对 大 数据 进行 遗 系 ， 而 记 住 并 掌握 那些 我 们 更 想 了 
解 的 小 数据 。 


(二 ) 小 数据 的 取舍 之 道 


维克托 在 新 作 《 大 数据 时 代 》 中 对 大 数据 进行 了 详细 的 解释 ， 大 
数据 只 是 客体 ， 本 身 并 不 能 决定 目 己 有 用 还 是 无 用 。 有 用 还 是 无 用 ， 
征 相 对 于 主体 来 说 的 。 对 人 有 意义 的 数据 ， 驳 是 雕像 ， 驶 是 该 保存 的 
回忆 ; 对 人 没 意 义 的 数据 ， 就 古 应 去 挥 的 石料 ， 束 是 该 删除 的 垃圾 。 
所 以 大 数据 的 取舍 之 道 ， 是 把 有 意义 的 留 下 来 ， 把 无 意义 的 去 控 。 


那么 小 数据 的 取舍 之 道 ， 我 们 认为 则 是 把 个 性 化 的 留 下 来 ， 把 非 
个 性 化 的 交 给 大 数据 。 


个 性 化 数据 是 在 新 的 市 场 环境 中 企业 迫切 需要 的 一 种 新 的 数据 模 
式 ， 它 更 贴近 于 个 体 的 独特 需求 ， 类 似 于 “ 量 喘 定制 ”。 在 大 数据 发 展 
势头 迅猛 的 今天 ， 企 业 有 更 多 的 机 会 去 了 解 消费 者 ， 甚 至 会 比 消费 者 
目 己 还 要 了 解 其 需求 。 因 此 ， 企 业 根 据 用 户 需 求 的 多 样 化 ， 开 始 深耕 
顾客 需求 市 场 ， 把 目光 转向 个 性 化 医疗 、 个 性 化 教育 、 个 性 化 就 业 等 
方面 ， 通 过 小 数据 分 析 为 顾客 量 吴 定制 产品 。 换 句 话 说， 个 性 化 数据 
为 用 户 提供 他 们 想 要 的 产品 和 服务 ， 将 生来 来 红利 中 最 具 价 值 的 财 


定 。 
[==| 


相反 ， 那 些 非 个 性 化 的 数据 ， 既 不 能 提取 出 用 户 独 有 的 特征 ， 又 
不 能 满足 清晰 、 客 观 地 观察 世界 的 视角 的 需求 ， 更 适合 复 用 。 复 用 的 


结果 最 终 束 是 同 质 化 ， 但 其 数据 结果 也 将 更 稳定 ， 预 测 曲线 也 将 更 平 
稳 ， 由 此 也 束 无 须 人 们 再 去 对 数据 进行 干预 以 及 再 去 记 住 它 ， 这 束 是 
所 谓 的 大 数据 产业 。 


目前 ， 大 数据 产业 还 处 于 发 展 初 期 ， 市 场 规模 较 小 。 而 个 性 化 数 
据 通 过 对 大 数据 的 挖掘 、 分 析 和 利用 ， 可 以 实现 数据 增值 ， 让 数据 价 
值 实现 最 大 化 ， 并 且 它 的 作用 越 来 越 明 显 ， 可 以 改变 过 去 发 展 靠 劳动 
力 、 现 在 发 展 靠 数据 痪 源 的 局 面 ， 有 利于 将 数据 资源 转化 为 发 展 红 
Rs 


三 、 让 精简 成 为 王道 


(一 ) 大 数据 时 代 精 傈 的 艺术 


《 精 人 一 一 大 数据 时 代 的 商业 制胜 法 则 》 一 书 曾 提 出 :我 们 每 个 
人 都 面 对 着 一 个 闫 重 的 问题 ， 那 就 十 生活 在 一 切 都 过 量 的 世界 。 这 样 
的 过 量 令 我 们 宣 轧 。 我 们 所 做 的 每 一 个 困难 的 决定 本 质 上 都 关乎 三 个 
艰难 的 抉择 : 继续 还 是 忽略 、 取 还 是 售 、 做 还 是 不 做 。 精 简 的 乙 术 束 
征 : 当 你 以 正确 的 方式 售 痉 了 恰当 的 元 素 时 ， 往 往 拨 开 云 雾 见 明月 ， 
收 到 事半功倍 的 效果 。 

大 数据 时 代 ， 一 切 都 有 着 过 量 的 功能 与 选择 ， 唯 独 缺 乏 最 佳 的 体 
验 。 很 多 企业 因 * 精 简 ” 取 得 了 令 人 有 鼎 目 的 成 功 ， 不 仅 让 品牌 家 喻 户 
晓 ， 也 改变 了 人 们 的 生活 方式 。 比 如 ， 革 有 果 公 司 生 产 的 iPod、 
iPhone、iPad， 以 其 精简 、 优 雅 的 外 形 设 计 和 用 户 体验 风靡 世界 ， 引 起 
全 球 争 抢 ; 谷歌 那 极 简 的 搜索 首页 仅 用 一 个 输入 框 连接 用 户 与 世界 ， 
成 为 互联 网 史上 的 经 典 ， 亚 马 逊 香 借 精简 的 “一 键 下 单 ” 功 能 成 为 全 球 
最 大 电子 商城 。 品 牌 咨询 管理 公司 思 容 高 发 现 : 消费 者 更 愿意 为 商 单 
的 体验 文 付 更 高 的 价格 :平均 愿意 多 文 付 3%~4.1% 的 价格 。 如 今 ， 人 
们 更 想 从 产品 或 服务 本 喘 之 外 获得 更 好 的 用 户 体 验 ， 因 此 企业 必须 在 
产品 和 服务 的 功能 和 选项 上 做 得 更 精简 一 些 。 

如 今 ,“ 糊 简 ” 这 件 事 已 经 越 来 越 多 地 出 现在 企业 的 产品 开发 过 程 
中 ， 通 过 对 用 户 数据 的 分 机 ， 了 解 用 户 使 用 产品 时 的 目的 ， 这 些 产 品 
会 包括 更 多 的 特性 、 选 择 和 功能 ， 并 且 ， 这 些 产 品 同样 做 得 很 精 价 。 

作为 2015 年 手机 界 新 人 ，ZUK 以 黑马 的 姿态 杀 入 手机 市 场 ， 超 高 
的 性 价 比 让 Z1 启 得 了 消费 者 的 青睐 ， 在 强 政 林立 的 “ 双 11” 大 促销 中 取 


得 了 骄 人 的 战绩 ， 该 款 手 机 在 硬件 方面 仅 提供 一 种 版 本 选择 ， 让 用 户 
无 须 在 电信 4G/ 联 通 4G/ 双 4G， 或 16G/32G/64G 间 做 选择 ， 直 接 提供 给 
用 户 全 网 通 64G 的 最 优 版 本 。ZUK 手 机 CEO 常 程 透 露 ， 做 产品 最 重要 
的 就 是 简单 ， 让 人 能 够 一 目 了 然 。 而 其 公司 第 一 款 手 机 ZUK Z1， 可 以 
说 也 的 确 处 处 包含 了 常 程 的 以 “简单 ”为 核心 的 产品 理念 。 


(二 ) 小 数据 市 来 全 新 的 快感 体验 


小 数据 ， 既 是 对 大 数据 的 一 种 精简 ， 同 时 也 是 对 生活 、 对 工作 、 
对 服务 的 一 种 精简 。 利 用 小 数据 ， 我 们 发 现 原 来 工作 也 可 以 这 人 么 高 
效 ， 那 些 复杂 的 流程 原来 并 不 需要 那么 复 杀 ， 用 户 服 务 竟 然 也 可 以 如 
此 简单 。 而 相应 地 ， 无 论 是 用 户 还 是 我 们 目 身 ， 痢 将 会 得 到 一 种 全 新 
的 快感 体验 。 

例如 ，2014 年 12 月 9 日 ,，“ 央 视 新 闻 * 微 信 公 从 号 图 解 新 闻 的 推送 专 
栏 由 “一 图 解读 ”变更 为 “一 图 ”*"， 更 加 精简 的 栏目 名 称 预 示 着 图 解 新 闻 
对 文本 内 容 的 呈现 减少 ， 转 而 更 多 地 倚重 交互 性 图 表 实 现 文 本 和 数据 
的 可 视 化 ， 进 而 把 抽象 枯燥 的 信息 具象 化 来 适应 更 加 多 元 的 新 闻 报 道 
内 容 。 图 解 新 闻 通 过 简洁 、 美 观 、 交 互 的 磺 平 化 UI 设计 (或 称 界面 设 
计 ) ， 可 以 让 新 闻 信息 在 数 读 美 图 中 清晰 展现 ， 将 大 数据 的 海量 信息 
整合 为 直观 易 信 的 可 视 性 视觉 岁 片 的 小 数据 ， 从 而 为 受众 市 来 更 加 多 
元 的 新 闻 阅 读 体验 。 


“一 图 ”的 图 片 新 闻 报道 形式 主要 是 融合 不 同类 型 的 信息 数据 图 表 
来 进行 新 闻 内 容 的 可 视 化 呈现 。 图 表 主 要 有 以 下 几 类 : 
(1) 图 例 、 图 示 解 读 


图 例 、 图 示 的 数据 解读 模式 主要 十 运用 形象 图 例 和 简 涪 文字 或 数 
据 ， 来 对 新 闻 的 数据 和 文本 内 容 进行 重新 解构 与 视觉 解读 ， 将 复 灯 元 


长 的 数据 和 文本 形象 化 、 具 象 化 ， 达 到 视觉 传播 的 直观 效 采 。 
(2) 交互 性 信息 图 表 


交互 性 信息 图 表 是 实现 新 闻 数 据 可 视 化 的 重要 手段 ， 它 依托 大 数 
据 的 海量 信息 基础 ， 运 用 特殊 的 软件 程序 对 数据 进行 处 理 ， 把 文字 信 
恩 转 换 为 视觉 符号 和 类 型 铭 表 ， 用 人 稍 尘 直观 的 视觉 化 方式 引导 读者 对 
新 闻 事 件 的 关注 和 思考 。 


(3) 数据 地 图 


数据 地 图 通常 以 电子 地 图 为 痛 景 ， 将 多 种 数据 图 文 信息 整合 其 
中 ， 多 用 于 灾难 新 闻 的 报道 。“ 央 视 新 闻 ” 微 信 公 众 号 所 推送 的 图 解 新 
闻 受 手机 屏 磋 大 小 的 限制 ， 此 类 数据 地 图 所 展现 的 图 示 多 为 局 部 、 小 
范围 的 地 图 ， 并 不 影响 其 对 新 闻 事 实 和 数据 信息 的 直观 展示 。 


四 、 从 细节 预见 未 来 


(一 ) 让 小 数据 预见 未 来 


在 生活 上 ， 我 们 处 处 可 以 见 到 细节 影响 成 败 的 案例 : 法 国 银行 大 
王 贡 库 : 拉 斐 院 托 年 轻 时 曾 一 度 失 业 。 一 天 他 到 一 家 银行 求职 又 遭 拒 
绝 ， 这 已 经 是 他 第 52 次 磁 壁 了 。 当 他 垂 涉 形 气 地 走出 银行 时 ， 和 忽然 发 
现 门 前 台阶 上 有 一 枚 大 头 针 ， 吏 弯 腰 捡 了 起 来 。 没 想到 第 二 天 银行 发 
来 了 杂 用 通知 。 原 来 ， 昨 天 他 蹲 喘 捡 针 的 情景 恰好 被 这 家 银行 的 董事 
长 看 见 。 在 董事 长 看 来 ， 从 事 银 行 工作 ， 需 要 的 正 是 拉 裴 院 托 的 这 种 
注意 细 市 的 精神 。 从 此 ， 拉 韭 院 托 和 任 着 自己 的 才干 和 和 努力， 终于 在 法 
国 银行 界 轩 露头 角 。 

美国 福特 公司 的 创始 人 享 利 :福特 ， 大 学 毕业 后 ， 去 一 家 汽车 公司 
应 聘 。 和 他 同时 应 聘 的 三 四 个 人 痢 比 他 学 历 高 ， 当 前 面 几 个 人 面试 之 
后 ， 他 觉得 目 己 没有 什么 希望 了 。 但 既 来 之 ， 则 安之 。 他 殴 门 走 进 了 
董事 长 办 公 室 ， 一 进 办 公 室 ， 他 发 现 门口 地 上 有 一 张 纸 ， 弯 腰 捡 了 起 
来 ， 发 现 是 一 张 少 纸 ， 便 顺手 把 它 扔 进 了 上 废 纸 竹 里 。 然 后 才 走 到 董事 
长 的 办 公 昌 前 ， 说 :“ 我 是 来 应 聘 的 福特 。” 董 事 长 说 :“ 很 好 ， 很 好 ! 
福特 先生 ， 你 已 被 我 们 录用 了 。 ”福特 慰 讶 地 说 : “ 重 事 长 ， 我 觉得 前 
儿 位 都 比 我 好 ， 你 怎么 把 我 录用 了 ? ”董事 长 说 : “福特 先生 ， 前 面 三 
位 的 确 学 历 比 你 高 ， 且 仪表 等 符 ， 但 是 他 们 眼睛 只 能 看 见 " 大 事 ， 而 
看 不 见 小 事 。 你 的 眼睛 能 看 见 小 事 ， 我 认为 能 看 见 小 事 的 人 ， 将 来 目 
然 能 看 到 大 事 ， 一 个 只 能 :看见 ' 大 事 的 人 ， 他 会 忽略 很 多 小 事 。 他 有 是 
` 会 成 功 的 。 所 以 ， 我 才 永 用 你 。? 福 特 束 这 样 进 了 这 家 公司 ， 这 家 公 
司 不 久 吏 扬名 天 下 ， 也 相应 改变 了 人 整个 类 国 国民 经 济 状 况 ， 使 美国 汽 


车 产业 在 世界 占据 鳌头 ， 福 特 把 这 家 公司 改名 为 “福特 公司 ”。 大 家 想 
一 想 ， 这 张 废 纸 重 要 不 重要 ? 看 得 见 小 事 的 人 能 看 见 大 事 ， 但 只 能 “看 
见 ? 大 事 的 人 ， 不 一 定 能 看 见 小 事 ， 这 是 很 重要 的 教训 。 


在 数据 应 用 领域 ， 道 理 其 实 是 一 样 的 。 目 前 小 数据 更 多 的 是 被 看 
作为 < 细节 预见 未 来 "。 


例如 ， 一 家 零售 公司 可 以 利用 大 数据 的 分 析 ， 根 据 客户 的 偏好 、 
趋势 和 个 性 化 需求 制定 优惠 促销 策略 。 但 是 ， 如 采 没 有 传统 的 天 键 绩 
效 指标 ， 如 收入 增长 、 利 润 率 、 客 户 满 意 度 、 客 户 忠 诚 度 和 市 场 占 有 
率 等 小 数据 指标 ， 公 司 将 不 能 判断 出 促销 策略 是 否 有 效 采 。 许 多 企业 
正定 因为 抓 住 了 这 些小 数据 指标 ， 才 得 以 实现 质 的 飞跃 。 


(二 ) 价值 就 在 小 数据 当中 


稀缺 性 是 经 济 学 的 第 一 定律 。 面 对 海量 数据 的 无 限 增长 ， 有 人 说 
经 济 学 过 时 了 ， 因 为 越 来 越 多 的 财富 来 源 于 无 限 性 数据 ， 所 以 资源 将 
不 再 稀缺 。 错 ! 大 数据 作为 一 种 无 限 性 的 资源 ， 其 本 喘 并 没有 价值 ， 
数据 的 价值 是 由 终端 或 平台 的 使 用 者 创造 的 。 因 此 ， 相 对 于 海量 数据 
的 无 限 增 长 ， 由 使 用 者 创造 的 小 数据 更 加 稀缺 。 经 济 学 的 稀缺 性 定律 
不 仅 没有 过 时 ， 反 而 得 到 了 更 充分 的 验证 。 

例如 ， 微 博 上 有 一 则 新 闻 ， 一 小 伙 是 一 个 高 档 小 区 的 物业 管理 
员 ， 有 一 天 他 突 发 奇想 ， 目 己 配 了 扫描 枪 ， 每 天 整 专 有 盯 着 这 个 小 区 的 
垃圾 扒 ， 看 见 有 条 形 码 束 扫描 ， 晚 上 回 家 把 这 些 收集 到 的 数据 整理 出 
来 ， 得 出 这 小 区 喝 什 么 水 、 号 什么 油 、 丈 什么 衣服 之 类 的 小 数据 ， 对 
整个 小 区 的 消费 品类 偏好 和 品牌 仿 好 一 清二 楚 。 最 后 他 用 这 些小 数据 
做 成 了 一 份 报告 卖 给 大 公司 ， 报 告 价值 数 十 万 元 。 我 不 知道 这 条 微 博 
的 真实 性 如 何 ， 但 我 相信 如 果真 的 有 人 这 样 做 ， 这 份 报告 一 定 值 这 个 


价钱 。 因 为 这 个 人 用 这 些小 数据 创造 了 价值 ， 它 能 够 让 购买 者 比 其 他 
人 更 了 解 这 个 小 区 。 


在 马云 提出 痢 零 售 时 ， 原 银泰 百货 总 经 理 厉 宁 殉 提出 不 同 的 意 
见 。 厉 宁 广 十 以 为 ， 马 云 目 己 并 没有 做 过 零售 ， 所 谈 零 售 的 新 与 老 ， 
忽悠 的 成 分 较 大 。 不 是 你 在 互联 网 领域 做 成 功 了 ， 来 谈 零 售 或 做 零售 
忠 古 新 零售 ! 因为 在 零售 环节 ， 很 多 事 靠 所 谓 的 互联 网 思维 和 算法 根 
本 束 不 能 解决 问题 。 

厉 宁 女士 对 马云 是 否 懂 新 零售 的 观点 正确 与 否 姑且 不 论 ， 但 是 她 
举 的 例子 都 很 有 道理 ， 她 认为 只 有 人 小 数据 才能 解决 零售 的 问题 。 


(1) 今年 这 件 衣 服 卖 得 很 好 ， 明 年 还 要 继续 吗 ? 今年 卖 了 100 万 
件 ， 明 年 做 120 万 件 行 吗 ? 再 延伸 下 去 这 个 问题 也 非常 有 意思 
(2) K 款 今年 卖 得 不 好 ， 所 谓 的 大 数据 就 摆 在 那里 ， 能 解决 什么 


问题 ? 


商品 管理 是 实 实在 在 的 小 数据 管理 ， 需 要 的 是 非常 传统 的 管理 方 
法 。 就 像 K 计 卖 得 不 好 ， 原 因 可 能 很 复 淋 ， 有 可 能 十 款式 本 喘 的 问 
题 ， 即 设计 、 版 型 、 花 色 、 工 艺 等 设计 问题 所 致 ， 也 有 可 能 是 商业 经 
验 的 问题 ， 即 投产 量 、 定 价 、 分 发 等 商业 管理 问题 所 致 ， 还 有 可 能 是 
管理 能 力 的 问题 ， 即 基本 质量 、 物 流 配 送 等 内 部 管控 问题 所 致 ， 或 者 
征 销售 能 力 的 问题 ， 即 现场 销售 等 系列 问题 所 致 。 


这 些 都 是 商品 管理 的 小 数据 出 现 了 问题 ， 而 依靠 所 谓 的 大 数据 ， 
征 不 可 能 知道 问题 的 真相 的 。 所 以 企业 最 需要 关注 的 并 不 是 大 数据 和 
算法 ， 而 征 通 过 小 数据 去 寻找 解决 这 些 经 介 过 程 中 出 现 的 具体 问题 的 
方法 。 


五 、 从 量化 目 我 开始 


(一 ) 成 为 最 了 解 目 己 的 专家 


喘 处 数据 爆炸 的 大 数据 时 代 ， 数 据 晕 无 疑问 变 成 了 生活 的 主导 ， 
天 于 量化 目 我 其 未 来 的 影响 力度 是 未 知 且 不 可 见 的 。 但 是 随 厦 时 间 的 
流逝 ， 越 来 越 多 的 大 数据 被 量化 成 小 数据 ， 使 量化 目 我 取得 了 更 进 一 
步 的 发 展 ， 并 且 已 经 成 为 一 种 全 社会 的 普遍 行为 。 大 家 都 非常 乐意 通 
过 量化 目 我 ， 成 为 最 了 解 目 己 的 专家 。 

量化 目 我 对 我 们 的 影响 最 显而易见 的 束 是 可 穿戴 设备 的 普及 ， 我 
们 正在 步 入 一 个 新 的 科技 潮流 ， 曾 以 为 这 些 高 科技 的 东西 因为 其 逆 备 
的 高 价 ， 会 让 我 们 望而却步 。 但 是 不 知 从 什么 时 候 起 ， 各 种 监测 软件 
横 空 出 世 ， 测 量 运 动 的 、 监 测 睡眠 质量 的 、 记 录 学 习 时 间 的 、 记 录 疝 


束 已 与 量化 自我 结 下 了 不 解 之 缘 。 

量化 目 我 ， 可 以 让 人 更 有 目 知之 明 。Nike+ 个 人 速度 计 ， 通 过 鞋 里 
的 个 人 传 感 絮 得 知 跑步 的 速度 和 距离 ，Wii Fit 体 感动 作 游戏 ， 可 以 让 
你 和 家 人 朋友 进行 运动 竞赛 还 有 很 多 包括 监测 睡眠 质量 之 类 的 量化 
产品 。 通 过 这 些 新 兴 的 致力 于 量化 目 我 的 科技 软件 ， 我 们 能 够 更 清晰 
地 获得 目 己 的 运动 数据 ， 不 同 于 平时 目 己任 感觉 记录 的 各 种 数据 ， 这 
些 与 软件 相 结合 的 运动 设备 ， 能 够 通过 监测 号 体 的 各 项 指标 ， 通 过 身 
体 的 微妙 变化 ， 十 分 精准 地 记录 你 每 天 具体 的 运动 量 以 及 吴 体 的 各 项 
健康 指标 。 使 我 们 对 目 身 身体 的 了 解 不 再 只 俘 留 在 感觉 上 ， 或 者 医院 
体检 的 几 个 标识 上 ， 使 用 了 这 些 产 品 ， 你 可 以 随时 随地 得 到 具体 的 数 
字 ， 包 括 和 运动、 睡眠 等 方方面面 ， 和 掌握 目 己 的 第 一 手 健 康 资料 ， 同 时 


据 此 做 出 一 些 有 利于 健康 的 改变 。 例 如 ， 软 件 设 计 师 罗 宾 : 巴 罗 阿 通过 
一 个 手机 应 用 程序 来 测量 午饭 后 的 情绪 ， 借 此 发 现 不 同 食物 对 自己 情 
绪 的 影响 。 他 用 这 种 方法 成 功 减 轻 了 20 公 斤 体 重 。 

量化 自我 在 某 种 程度 上 也 提高 了 人 的 积极 性 。 新 时 代 互 联网 的 发 
展 使 人 们 无 时 无 刻 不 在 进行 各 种 在 线 交 流 ， 使 我 们 轻而易举 可 以 获得 
别人 的 健康 指标 、 运 动 信息 。 当 我 们 看 到 别人 的 运动 量 远 远大 于 自己 
上 时， 或 许 就 会 在 运动 时 更 有 动力 ; 当 我 们 看 到 别人 的 学 习 时 间 、 阅 读 
量 远 远大 于 自己 时 ， 就 会 认识 到 目 身 的 不 足 ， 更 加 努力 。 因 为 ， 在 生 
活 中 ， 我 们 很 难 感受 到 日 常 的 差异 ， 但 是 当 这 些 事实 赤裸 裸 地 以 数字 
的 形式 清晰 明了 地 展现 在 我 们 的 面前 时 ， 我 们 就 会 认识 到 上 自身 和 别人 
的 差异 ， 进 而 三 省 吾 身 ， 见 贤 思 齐 ， 让 视野 更 加 广阔 ， 不 再 是 并 底 之 
生 ， 从 而 更 有 利于 激发 自身 的 潜力 。 

量化 自我 ， 也 是 新 一 代 商 机 。“ 健 康 ‘ 自 我 量化 ;再 获 千 万 级 融资 ， 
曾 推出 智能 体重 秤 、 血 压 计 及 Pulse 的 Withings 获 融资 3000 万 美元 ?这样 
的 新 闻 越 来 越 频繁 地 出 现在 大 家 的 视野 中 ， 随 着 新 科技 的 发 展 ， 许 多 
针对 性 极 强 的 目 我 量化 产品 也 应 运 而 生 ， 为 失眠 者 设计 的 睡眠 监测 产 
品 ， 为 高 血压 患者 设计 的 自动 血压 监测 仪 ， 为 运动 爱好 者 设计 的 运动 
检测 产品 等 敏锐 的 商家 抓 住 了 这 个 机 会 ， 把 这 些 东西 一 项 项 转化 为 
巨大 的 利润 ， 利 用 先进 的 技术 ， 设 计 了 以 前 想 都 不 敢 想 的 产品 ， 满 足 
人 们 需求 的 同时 ， 既 引领 了 测 流 ， 又 增强 了 品牌 影响 力 ， 于 是 很 多 针 
对 性 极 强 的 产品 横 空 出 世 。 


(二 ) 有 一 种 生活 叫 “ 量 化 目 我 ” 


在 生活 的 很 多 领域 中 ， 数 字 的 存在 天 经 地 义 : 账户 余额 、 租 金 、 
待 售 汽车 的 性 能 ， 所 有 这 些 都 应 该 用 准确 的 数字 表现 出 来 ， 而 不 只 十 
用 模糊 的 概念 或 感觉 来 描述 。 在 私人 生活 中 ， 数 字 却 是 葵 忌 : 如 采 有 
人 不 是 写 日 记 ， 而 是 在 Excel 表 格 中 填写 数字 来 记录 每 天 的 生活 ， 肯 是 


会 被 周围 人 认为 性 格 乖 僻 ， 甚 至 疯狂 。 在 专业 体育 和 医疗 领域 ,精确 
测量 喘 体 数据 的 行为 早已 司空 见 惯 ,但 是 如 采 普 通 人 也 开始 在 日 常生 
活 中 观 绎 目 己 、 量 化 目 己 ， 会 怎样 呢 ? 

(1) 德国 汉堡 青年 菲利普 .卡尔 维 斯 现年 30 岁 ， 热 囊 于 “量化 自 
我 *。 卡尔 维 斯 伦 了 99 美 元 购 得 一 条 流感 应 器 的 束 发 融和 一 个 苹果 应 用 
程序 ， 戴 着 这 个 束 发 带 睡 觉 束 可 以 获得 与 睡眠 相关 的 数据 并 把 数据 传 
送 到 苹果 洲 置 中 。 他 的 体重 计 具 备 无 线 传输 功能 ， 可 把 体重 和 脂肪 等 
数据 即时 传 进 计算 机 或 手机 中 。 


比如 ， 某 一 天 他 量 得 走路 7361 步 ， 头 一 天 夜里 只 睡 了 4 个 小 时 ， 其 
中 1 个 多 小 时 是 深 睡眠 。 然 后 卡尔 维 斯 每 天 都 根据 自己 的 测量 结果 调整 
自己 运动 和 睡眠 的 时 间 。 

如 今 , “量化 自我 "已 经 成 为 卡尔 维 斯 每 天 生活 中 不 可 或 缺 的 一 部 


(2) 美国 人 加 里 : 沃 尔 夫 (Gary Wolf) 和 凯 文 .凯利 (Kevin 
Kelly ) 2007 年 在 旧金山 创办 了 “量化 自我 ”网 站 
(www.quantifiedself.com) ， 倡 导 通 过 数字 了 解 自身 ， 如 今 有 20 多 个 
国家 和 地 区 成 立 了 “量化 自我 团体 。 它 们 最 新 发 布 的 产品 包括 一 种 进 
食 速度 控制 又 子 ， 它 能 感应 使 用 者 咏 到 又 子 的 次 数 ， 发 觉 进餐 速度 过 
快 瓯 发 出 提示 音 。“ 量 化 自我 爱好 者 在 “量化 目 我 ”网 站 上 发 布 自己 的 
健康 数据 ， 与 他 人 交流 所 使 用 的 测量 方法 及 设备 。 很 多 商家 针对 这 一 
群体 推出 了 一 些 产 品 ， 现 阶段 可 在 “量化 自我 * 网 站 上 看 到 500 多 种 测量 
健康 数据 的 装置 或 应 用 信息 。 


德国 健身 专家 贝 娅 符 丽 克 丝 : 赖 斯 认为 ， 这 些 应 用 “让 和 人们 以 玩 的 
方式 进一步 了 解 目 身 ， 油 发 目 身 实现 健康 目标 ”。 

而 继 “ 量 化 目 我 ”网 站 之 后 出 现 不 少 类 似 网 站 ， 方便 人 们 掌握 目 己 
的 健康 状况 。 


(3) 28 风 的 瑞士 人 布 羔 恩 : 克 莱 恩 两 年 前 发 现 了 观察 目 己 的 乐 
趣 。 除 了 定期 监控 目 己 的 步 数 、 窒 养 、 体 育 锻炼 和 文 出 情况 ， 他 还 重 
点 记录 目 己 集 中 注意 力 的 情况 和 工作 效率 。 


起 初 他 使 用 了 一 款 名 为 “拯救 时 间 ” 的 软件 ， 它 会 记录 他 每 时 每 刻 
的 动 驳 ， 包 括 他 在 计算 机 上 打开 了 什么 程序 、 在 哪些 页 面 用 了 多 长 时 
间 。“ 它 将 直观 的 数据 毫 无 保留 地 展现 在 我 眼前 ，* 克 莱恩 说 ,“ 但 它 并 
非 总 是 能 够 说 明 真 实 的 效率 。* 比 如 ， 发 邮件 的 时 候 ， 他 可 能 在 有 效 利 
用 时 间 ， 也 可 能 在 虚度 光阴 ;浏览 新 闻 页 面 时 可 能 是 在 调查 研究 ， 也 
可 能 是 在 分 散 精 力 。 

于 是 克 莱 恩 开始 手动 记录 他 将 自己 的 工作 时 间 分 成 25 分 钟 的 小 
段 ， 连 续 记录 自己 在 做 什么 ， 专 注 程度 怎样。 结果 是 惊人 的 ， 短 短 半 
年 的 时 间 ， 克 莱恩 的 工作 效率 就 比 刚 开始 进行 记录 时 翻 了 一 番 。“ 在 有 
意识 地 填 表 记 录 之 后 ， 我 才 真 正 意识 到 自己 浪费 了 多 少时 间 。” 克 莱恩 
说 。 


此 外 ， 量 化 自我 还 有 助 于 研究 生活 的 各 个 方面 之 间 的 紧密 联系 。 
比如 ， 克 莱恩 每 周 斋 戒 一 天 ， 他 觉得 自己 这 天 注意 力 特别 集中 ， 也 非 
常 有 效率。 但 是 1 年 之 后 他 分 析 自 己 的 数据 ， 发 现 根本 不 是 这 样 。“ 但 
我 内 心 仍然 这 样 相信 着 ，” 克 莱恩 说 ,“ 可 能 还 有 一 个 我 没有 考虑 到 的 
影响 因素 。” 

尽管 如 此 ， 他 对 自己 的 实验 仍然 非常 满意 : 它 不 仅 让 他 变 得 更 加 
有 效率 ， 同 时 也 帮助 他 制定 了 更 加 实际 的 目标 和 期 望 。“ 现 在 我 知道 ， 
我 在 一 定 的 时 间 内 能 够 做 到 哪些 ， 也 能 清晰 地 看 到 我 工作 上 的 进步 ， 
我 觉得 这 非常 能 激发 我 的 积极 性 。” 

除了 工作 效率 ， 克 莱恩 也 曾 用 一 个 脑 电 图 额 带 检测 过 自己 的 睡 
眼 。“ 我 能 看 到 ， 我 只 在 前 2/3 时 间 处 于 深度 睡眠 和 半 睡 眠 阶段 ， 清 晨 
基本 就 是 没 睡 着 的 状态 。” 于 是 他 决定 将 自己 的 睡眠 时 间 由 平均 6 个 半 
小 时 减少 到 5 小 时 45 分 钟 ， 实 施 起 来 效果 非常 好 。 


如 今 ， 殉 莱恩 通过 每 天 量化 目 我 ， 已 经 拥有 了 国民 经 济 学 和 哲学 
硕士 学 位 ， 目 前 刚刚 完成 了 他 的 心理 学 硕士 学 业 。 


(4) 来 自 柏 林 克 罗 伊 次 贝 格 区 的 霍 尔格 尔 : 迪 特 里 希 开始 自我 测 

量 的 经 历 可 以 说 非常 典型 。 这 位 36 罗 的 技术 狂人 在 柏林 “量化 目 我 小 
组 ”见面 会 上 说 : “我 听 人 说 起 这 些 能 测量 日 常生 活 各 种 数据 的 小 仪 
需 ， 心 想 真 是 酷 极 了 的 新 玩意 儿 。” 这 个 小 组 是 个 松散 的 组 织 ， 成 员 全 
是 男人 ， 他 们 每 两 个 月 碰面 一 次 ， 互 相交 流 自 己 测 量 了 什么 、 从 中 学 
到 了 什么 。 迪 特 里 希 给 我 们 看 他 的 Jawbone 手 环 和 一 个 追 中 器 ， 他 用 这 
两 者 来 记录 目 己 的 日 常 活动 。 该 小 组 很 多 人 都 在 手腕 或 腰 市 上 戴 着 类 
似 的 仪器 。 迪 特 里 希 说 ， 他 很 快意 识 到 ， 他 很 少 做 到 仪器 推荐 的 健康 
生活 方式 一 一 每 天 1 万 步 。 

他 开始 更 多 地 步行 ， 不久 开始 慢跑 。“ 我 开始 在 滕 珀 尔 霍 夫 区 跑 
步 。 在 此 之 前 ， 我 还 从 来 没有 锻炼 过 。” 这 位 网 络 顾问 说 , “最 初 只 是 
因为 我 能 看 到 我 的 数据 记录 ， 慢 慢 地 我 发 现 ， 跑 步 能 给 我 带 来 快乐 。” 

迪 特 里 希 没 有 使 用 分 享 功能 ， 借 此 他 本 可 以 将 已 经 完成 的 慢跑 距 
离 、 扑 过 的 楼 梯级 数 或 消耗 的 卡路里 数 公布 在 Facebook 或 Twitter 
上 “。“ 我 喜欢 观察 目 己 ， 而 不 是 和 他 人 做 比较 。 我 的 很 多 朋友 也 对 总 是 
有 人 刷 屏 公开 有 目 己 信息 的 行为 感到 烦恼 。” 夏 天 他 会 开始 跑 半 程 马 拉 
松 。 如 果 没 有 这 些小 仪器 ， 他 可 能 不 会 发 现 运动 的 乐趣 。“ 有 了 时 我 会 收 
到 邮件 提醒 ， 比 如 ， 我 上 周 步行 距离 缩短 了 ， 或 是 周三 常常 运动 不 
够 。 这 是 个 很 好 的 鞭策 ， 提 醒 我 以 后 注意 。” 

此 外 ， 他 还 开始 收集 天 于 目 己 的 其 他 数据 。“ 我 没有 有 具体 的 目标 ， 
也 没有 想 要 解决 的 问题 。” 他 说 , “了 解 自己 本 喘 束 是 一 件 有 趣 的 事 
情 。”* 比 如 ， 他 将 一 款 软件 设置 为 每 天 晚上 22 点 37 分 准时 给 他 发 送 一 份 
调查 问卷 ， 询 问 他 一 天 的 生活 情况 。“ 比 如 我 是 否 和 家 人 聊天 ， 有 是 否 喝 
酒 。” 这 是 一 些 就 算 没 有 软件 记录 ， 他 也 清楚 知道 的 信息 。“ 记 录 下 
来 ， 能 够 更 好 地 审视 目 己 。” 迪 特 里 希 说 ,“ 比 如 我 以 前 从 未 觉得 目 己 


喝 得 太 多 ， 然 而 通过 观察 记录 ， 我 发 现 目 己 几乎 每 晚 都 饮酒 过 量 。” 他 
得 出 的 结论 是 : 禁酒 10 周 。 

他 承认 ， 这 种 观察 自己 的 角度 确实 有 些 滑稽 : 真实 的 自己 和 硕 望 
成 为 的 更 好 的 自己 之 间 划 清 了 界限 。“ 量 化 自我 正 是 一 种 自我 完善 的 方 
式 ， 最 终 目 标 是 能 够 接受 自己 的 现状 ， 这样 人 就 归于 完全 的 禅 境 了 。 
当然 ， 在 做 到 这 一 点 之 前 ， 我 还 是 先 乖 弄 跑 步 吧 。” 

(5) 在 自我 量化 运动 还 没有 发 展 为 今天 的 规模 时 ， 哥 次 勒 尔 束 已 
经 开始 自我 测量 了 。“10 年 前 我 参加 了 美国 大 学 生得 球赛，” 他 说 ,“ 我 
们 定期 接受 专业 检查 ， 从 体 脂 、 弹 力 、 跳 路 力 到 血 常 规 。” 哥 次 勒 尔 认 
为 ， 正 是 那 时 的 经 历 激 发 了 他 用 数字 记录 号 体 的 热情 。 

和 和 霍 尔 格 尔 : 迪 特 里 希 、 布 莱恩 : 克 莱 恩 一 样 ， 哥 次 勒 尔 也 是 当 
地 “量化 自我 小 组 ”的 成 员 。 他 认为 目 我 测量 者 坦诚 而 友好 。“ 束 算是 新 
人 ， 也 会 很 快 受到 热烈 欢迎 。 每 个 人 都 喜欢 交流 ， 整 像 家 庭 成 员 一 样 
亲密 。” 对 于 如 今 已 经 29 罗 的 他 来 说 ， 打 篮球 只 是 业余 爱好 了 ， 但 他 仍 
然 和 以 前 一 样 观察 自己 的 血 常规 。“ 当 我 注意 到 ， 我 的 维生素 D 和 微量 
元 素 水 平 偏 低 后 ， 我 开始 调整 自己 的 饮食 ， 并 额外 补充 维生素 D。 当 
数值 都 恢复 正常 之 后 ， 我 也 明显 感觉 目 己 健 康 了 很 多 ， 虽 然 不 能 排除 
只 是 心理 因素 的 影响 。” 哥 次 勒 尔 的 榜样 是 带 英 西 : 费 里 斯 (Timothy 
Ferriss) ， 他 通过 出 版 《4 小 时 的 届 体 》 一 书 带 动 了 “优化 自己 的 效 
率 、 身 体 、 营 养 ” 活 动 的 流行 。 

定期 检查 的 血 常规 不 但 过 程 磋 烦 ， 而 且 费 用 昂贵 ， 这 让 哥 次 勒 尔 
感到 很 肖 来 ， 同 时 也 催生 了 他 的 一 个 商业 灵感 : 他 和 一 个 朋友 、 两 位 
医学 顾问 一 起 成 立 了 一 家 名 叫 Biotrakr 的 公司 ， 其 宣传 语 是 “建立 在 你 
的 身体 数值 基础 上 的 私人 健身 教练 >。 目 前 该 公司 还 处 于 试 运营 阶段 。 
哥 欧 勒 尔 为 50 名 用 户 寄 去 了 工具 包 ， 测 试 整个 工作 流程 能 否 正常 运 
转 。 用 户 用 刺 血 针 为 自己 取 血 ， 然 后 将 血样 匿名 寄 送 到 公司 实验 室 ， 
而 相关 数据 会 被 传输 到 Biotrakr 的 网 页 上 。“ 用 户 可 以 方便 、 匿 名 地 碍 
出 自己 的 血 常规 值 ， 我 们 会 帮助 他 们 分 析 ， 这 些 数值 是 什么 意思 ， 他 


们 可 以 做 些 什么 来 应 对 。 一 切 正常 当然 最 好 ， 万 一 有 问题 也 是 越 早 发 
现 越 好 。” 


可 次 勒 尔 知道 在 健康 这 个 主题 上 ， 数 据 保 护 非常 重要 ， 而 且 从 法 
律 层 面 来 讲 ， 他 的 公司 并 没有 做 出 医学 诊断 的 权利 。 但 他 仍然 相信 ， 
Biotrakr 的 服务 市 场 广阔 : “目前 主动 量化 目 我 的 人 还 是 少数 ， 但 他 们 
的 数量 肯定 会 越 来 越 多 。 我 们 想 借助 Biotrakr， 为 广大 消费 者 提供 一 种 
工具 ， 让 他 们 只 用 人 花 很 少 的 钱 ， 吏 能 过 上 尽 可 能 健康 的 生活 。” 


和 六、 迎接 小 数据 时 代 


(一 ) 小 数据 集合 体 的 形成 


当 我 们 无 法 精确 定义 某 种 事物 时 ， 则 会 冠 之 以 一 个 指 意 模 灶 的 代 
称 ,“ 大 数据 ”就 是 这 样 一 种 代称 。 如 果 我 们 要 理解 它 ， 只 能 够 进一步 
将 它 具 体 化 ， 把 它 量 化 为 小 数据 。 

美国 由 罗 奥 多 研究 中 心 (PARC) 的 马克 : 韦 泽 (Mark Weiser) 提 
出 人 类 最 终 将 进入 “ 普 适 计算 ”(Ubiquitous Computing) 的 阶段 ， 即 我 
们 可 以 在 任何 时 间 、 地 点 ， 获 取 和 处 理 任 何 信息 ， 无 处 不 在 的 微小 设 
备 无 时 无 刻 不 在 采集 、 传 输 和 计算 ， 形 成 一 个 包罗 万 象 的 信息 网 络 ， 
因为 数据 ， 正 逐渐 渗透 人 们 的 生活 ， 影 响 甚 至 取代 原 有 的 知识 生产 方 
式 和 认识 框架 ， 而 其 中 一 个 非常 重要 的 趋势 ， 就 是 “量化 日 
我 ”(Quantified Self, QS) 。 


量化 目 我 这 个 词 是 2007 年 由 世界 著名 科技 杂志 《 连 线 》 记 者 凯 文 : 
邮 利 (Kevin Kelly) 和 盖 瑞 - 伍 尔 夫 (Gary Wolf) 提出 来 的 ， 它 是 指 人 
们 可 以 通过 关注 目 身 数据 从 而 保持 身体 健康 。 其 后 几 年 ， 无 数目 我 量 
化 运动 的 忠实 支持 者 开始 大 范围 地 组 织 聚 会 ， 同 时 不 乏 对 周围 人 群 的 
宣传 ，QS 运 动 正 有 煤 原 之 势 。 或 许 发 起 人 都 未 曾 预 料 到 这 个 活动 会 在 
其 后 几 年 内 在 全 世界 范围 内 产生 如 此 之 大 的 影响 。 量 化 目 我 ， 标 志 着 
社会 化 的 个 体 开始 主动 运用 数据 的 方式 开展 认识 目 我 的 实践 ， 预 示 着 
人 类 认 知 领域 全 面 数据 化 的 开始 。 

从 宏观 上 看 ， 当 个 体 的 量化 目 我 行为 成 为 一 种 普遍 的 社会 实践 之 
后 ， 所 谓 的 大 数据 ( 普 适 计算 网 络 ) ， 就 会 把 世界 划 归 为 两 类 数据 ， 
一 类 是 目 然 数据 ， 男 一 类 是 社会 数据 ， 而 社会 数据 即 是 由 无 数 的 个 体 


数据 库 构 成 的 量化 目 我 的 计算 网 络 一 一 一 个 包罗 万 千 的 社会 数据 网 
络 。 在 这 个 网 络 中 ， 有 意义 的 数据 和 运算 规则 将 被 保留 ， 无 意义 的 数 
据 和 算法 都 会 被 别 除 。 留 下 来 的 数据 ， 最 终 会 被 浓缩 成 一 个 个 小 的 数 
据 集 合体 ， 被 用 于 实际 应 用 当中 。 


(二 ) 小 数据 的 未 来 会 怎样 


小 数据 到 现在 为 止 的 应 用 十 分 局 限 ， 较 成 熟 的 应 用 像 征 运动 手 
环 、 智 营 手 表 等 收集 身体 信息 ， 告 诉 你 每 天 的 运动 量 如 何 。 但 小 数据 
知 通 过 目 动 化 ， 在 未 来 所 能 提供 的 信息 不 止 于 此 。 


如 饮食 ， 现 在 便利 商店 、 快 餐 店 的 食品 都 会 标注 热量 与 成 分 ， 假 
设 在 结账 时 ， 这 些 数据 也 能 一 次 加 总 ， 通 过 超 链 接 或 者 二 维 码 输 入 手 
机 ， 就 能 让 你 知道 一 天 摄取 多 少量 ; 若 加 上 服务 ， 也 能 让 你 知道 最 近 
是 否 吃 得 太 油 、 太 威 ， 咖 啡 因 是 否 连 日 超标 ， 该 调整 一 下 了 。 

例如 阅读 ， 美 国有 个 叫 Roundview 的 新 服务 ， 它 可 以 分 析 你 在 网 
络 上 的 阅读 行为 ， 让 你 了 解 自己 平时 阅读 哪些 网 站 、 哪 些 作者 的 文 
章 ， 进 而 找 出 自己 的 喜好 。 若 类 似 这 样 的 服务 能 做 得 更 完整 ， 也 能 理 
解 自己 平常 的 时 间 花 到 哪儿 去 ， 获 得 的 信息 是 否 偏向 某 一 类 、 而 又 有 
哪些 不 足 。 


小 数据 也 能 应 用 于 消费 分 析 ， 像 古 悠游 卡 、 信 用 卡 等 铬 能 提供 消 
费 类 别 与 金额 的 分 析 并 且 整 合 ， 更 能 帮助 你 处 理 目 己 的 财务 。 


当然 ， 小 数据 作为 数据 时 代 的 重要 组 成 部 分 ， 应 用 潜力 远 远 不 止 
这 些 ， 任 何 销 售 、 服 务 、 金 融 企 业 可 以 充分 利用 数据 资源 ， 在 做 好 大 
数据 的 基础 上 ， 提 到 具有 鲜明 特征 且 具 有 价值 的 小 数据 ， 挖 掘 可 利用 
的 客户 个 人 信息 ， 获 取 有 价值 的 客户 信息 ， 降 低 公 司 成 本 ， 提 高 运行 
效率 ， 增 加 销量 ， 更 好 地 为 客户 提供 量 喘 定做 的 优质 服务 。 


比如 ， 小 数据 可 以 用 于 企业 中 ， 和 人 力 分 析 技 术 结合 在 一 起 ， 去 
改进 员工 的 时 间 管 理 方式 ， 从 而 优化 工作 进程 。 如 通过 NFC 《〈 近 距离 
无 线 通 信 技 术 ) 和 微 传感器 ， 可 以 测量 到 员工 在 处 理 邮件 、 与 他 人 协 
作 、 和 同事 聊天 以 及 开会 时 在 路 上 所 耗费 的 时 长 ， 当 这 些 时 间 数 据 每 
天 都 被 采集 起 来 并 以 图 表 的 方式 形成 个 人 报告 ， 则 可 以 让 员工 知道 他 
们 有 哪些 地 方 是 做 得 不 够 高 效 、 分 配 得 不 够 合理 的 ， 从 而 去 提升 目 己 
的 效率 和 个 人 表现 。 

许多 数据 公司 目前 已 将 小 数据 应 用 视 为 公司 未 来 发 展 的 核心 ， 它 
们 认为 小 数据 创新 的 意义 主要 表现 在 以 下 几 个 方面 : 其 一 ， 企 业 利 
用 “小 数据 ”挖掘 其 中 强 藏 的 商业 稼 能 已 成 为 数据 时 代 寻 求 决策 依据 、 
提升 企业 本 喘 苋 争 力 的 一 个 重要 途径 ， 其 二 ， 从 内 部 数据 出 发 ， 企 业 
能 够 通过 海量 数据 挖 气 用 户 特征 获取 有 价值 的 “小 数据 *"， 以 获取 有 价 
值 的 用 户 信 息 ， 并 帮助 企业 明确 品牌 定位 和 优化 宫 销 策略 ， 促 使 企业 
及 时 调整 目 身 的 业务 ;其 三 ， 可 以 促进 数据 行业 的 发 展 ， 为 公司 的 发 
展 积累 很 多 有 价值 的 数据 。 


一 、 悍 清 小 数据 的 关系 


(一 ) 大 数据 与 小 数据 的 关系 


(1) 十 个 指头 弹 钢 琴 


2014 年 2 月 7 日 ， 习 近 平 总 书记 在 俄罗斯 索 毛 接受 俄罗斯 电视 台 专 
访 时 ， 谈 道 : “中 国有 960 万 平方 公里 国土 ，56 个 民族 ，13 亿 多 人 口 ， 
经 济 社会 发 展 水 平 还 不 高 ， 人 民生 活水 平 也 还 不 高 ， 治 理 这 样 一 个 国 
家 很 不 容易 ， 必 须 登 高 望 远 ， 同 时 必须 脚踏实地 。 我 曾 在 中 国 不 同 地 
方 长 期 工作 ， 深 知 中 国 从 东部 到 西部 ， 从 地 方 到 中 央 ， 各 地 各 层级 方 
方面 面 的 差异 太 大 了 。 因 此 ， 在 中 国 当 领导 人 ， 必 须 在 把 情况 搞 清 楚 
的 基础 上 ， 统 筹 兼顾 、 综 合 平衡 ， 突 出 重点 、 带 动 全 局 ， 有 的 时 候 要 
抓 大 放 小 、 以 大 兼 小 ， 有 的 时 候 又 要 以 小 带 大 、 小 中 见 大 ， 形 象 地 
说 ， 束 是 要 十 个 指头 弹 钢 众 。>” 

习 总 书记 上 述 关 于 抓 大 放 小 、 以 大 兼 小 ， 以 小 带 大 、 小 中 见 大 的 
深刻 论述 ， 全 面 涵 盖 了 全 局 与 局 部 ， 中 央 与 地 方 ， 上 级 与 下 级 ， 安 观 
与 微观 ， 一 般 (普遍 ) 与 个 别 〈 具 体 ) ， 主 要 矛盾 与 次 要 矛盾 ， 国 
家 、 集 体 与 个 人 ， 理 论 与 实际 ,决策 与 执行 ， 登 高 望 远 与 脚踏实地 之 
间 的 辩证 关系 ， 既 是 马克 思 主 义 的 认识 论 ， 也 是 马克 思 主 义 的 方法 
论 。 以 大 兼 小 、 小 中 见 大 就 是 认识 论 ， 抓 大 放 小 、 以 小 带 大 就 是 方法 
论 。 

大 束 是 大 数据 ， 束 是 全 量 数据 ;小 束 是 小 数据 ， 束 是 个 体 数 据 。 
所 以 ， 对 于 数据 科学 ， 我 们 必须 在 把 情况 搞 清楚 的 基础 上 懂得 哪些 是 
大 ? 哪些 是 小 ? 怎样 处 理 大 小 辩证 关系 ? 才能 在 具体 数据 应 用 中 做 到 


抓 大 放 小 、 以 大 兼 小 ， 以 小 市 大 、 小 中 见 大 。 在 人 研究 小 数据 时 ， 要 以 
大 兼 小 、 以 小 见 大 ， 必 须 考虑 目标 的 正确 性 、 可 操作 性 和 决策 的 科学 
性 、 可 行 性 。 在 研究 大 数据 时 ， 要 抓 大 放 小 、 以 小 珊 大 ， 既 要 考虑 整 
体 共 性 ， 又 要 注重 个 体 特征 。 这 样 ， 数 据 应 用 ， 大 能 与 小 数据 量化 的 
目 我 保持 高 度 一 致 ， 小 能 与 大 数据 预见 的 未 来 保持 一 致 ， 既 不 能 见 小 
不 见 大 ， 也 不 能 见 大 不 见 小 。 对 于 数据 科学 ， 从 数据 中 来 ， 到 数据 中 
去 ， 既 要 见 大 ， 也 要 见 小 ， 以 小 市 大 、 小 中 见 大 ， 才 能 真正 用 好 数 
据 。 


(2) 十 个 差异 论 大 小 


数据 时 代 将 重新 改写 人 们 对 数据 的 认识 ， 长 至 是 数据 目 身 。 
为 ， 即 使 古 一 个 “数据 ”本 喘 ， 它 也 古 多 维 的 ， 也 还 可 以 分 拆 ， 在 分 拆 
的 过 程 中 ， 会 造 束 无 限 的 两 机 。 从 信息 到 数据 ， 从 数据 到 数据 颗粒 ， 
这 一 系列 的 变化 ， 是 科技 发 展 的 必然 ， 也 是 社会 变 草 的 驱动 力 。 

@ “样本 ”与 “全 量 ” 

传统 统计 学 研究 的 一 个 重要 基础 是 抽 样 调查 ， 通 过 抽样 调查 得 到 
一 定 的 样本 数据 ， 并 以 此 作为 分 析 的 基础 。 但 抽样 调查 存在 两 大 限制 
和 缺陷 。 一 是 视角 ， 做 问卷 调查 ， 需 要 设计 调查 问卷 ， 而 问卷 设计 本 
身 ， 是 带 有 主观 色彩 的 ， 即 先 设 定 哪些 领域 会 存在 哪些 问题 ， 并 据 此 
设计 出 相应 的 问卷 问题 ， 这 实际 上 是 由 过 去 的 知识 体系 决定 的 。 然 
而 ， 过 去 的 知识 体系 并 不 一 定 代表 着 调查 对 象 的 客观 和 人 全角， 所 以 ， 
抽样 调查 的 样本 本 喘 就 可 能 存在 一 定 的 局 限 性 。 二 是 样本 量 ， 在 抽样 
调查 过 程 中 ， 样 本 量 总 定 有 限 的 。 如 采样 本 总 量 是 有 限 的 ， 从 对 和 象 的 
角度 看 ， 其 随机 性 和 代表 性 都 值得 商检 。 比 如 ， 街 头 的 问卷 调查 ， 束 
受到 一 定 的 局 限 性 ， 一 定 是 有 些 群 体 懒得 搭理 你 ， 而 有 些 群 体 就 很 喜 
欢 跟 你 聊天 。 这 就 意味 着 接受 调查 的 基本 上 是 相对 有 时 间 的 人 ,或 比 
较 热 心 公 益 的 人 ， 所 以 ， 调 查 结果 至 少 没有 代表 那些 拒绝 的 人 。 另 
外 ， 在 市 场 化 环境 下 ， 抽 样 调查 也 受到 人 们 质疑 ， 特别 是 在 委托 调查 


公司 做 抽样 调查 时 ， 它 的 报价 主要 依据 的 是 调查 的 样本 量 ， 不 少 调 碍 
公司 从 竞争 和 成 本 的 角度 出 发 ， 最 终 只 能 在 实际 样本 上 “做 文章 *。 所 
以 ， 从 抽样 调查 的 样本 量 看 ， 也 存在 一 定 的 限制 条 件 。 


大 数据 时 代 市 来 的 重要 变化 主要 有 两 个 : 一 个 是 “数字 社会 主 
义 ”， 另 一 个 是 “数字 人 生 ”， 即 整个 社会 都 被 数字 化 了 ， 每 个 人 也 被 数 
字 化 了 。 全 面 数字 化 的 信息 和 无 处 不 在 的 感应 终 问 ， 将 彻底 改变 传统 
数据 获取 的 可 能 性 和 效率 。 更 重要 的 是 信息 的 数据 化 是 与 生 俱 来 的 ， 
这 种 数字 化 趋势 将 会 产生 两 个 结果 : 一 个 是 这 种 数据 (信息 ) 很 客 
观 ， 男 一 个 是 它 为 全 量 数 子 ， 这 大 大 降低 了 人 为 和 主观 的 干预 因素 ， 
为 计量 科学 创造 了 一 个 无 限 的 想象 空间 和 实现 的 可 能 性 ， 也 将 彻底 改 
变 统计 的 存在 和 实现 方式 。 最 典型 的 应 用 将 出 现在 人 口 普查 领域 ， 比 
如 以 前 做 一 次 人 口 普查 非常 不 易 ， 人 力 资 源 投 入 大 ， 周 期 长 ， 且 成 本 
高 。 但 大 数据 时 代 ， 很 多 调查 和 统计 分 析 方 式 将 发 生 质 的 变化 ， 都 将 
彻底 改变 人 口 普查 的 方法 ， 继 而 改变 管理 模式 。 再 如 ， 我 国 每 年 大 约 
有 70 亿 人 次 门诊 量 ， 现 在 这 些 门 诊 信 息 均 逐步 地 被 数字 化 了 ， 这 将 意 
味 看 彻 展 改变 医疗 诊断 、 流 行 病 管 理 、 药 理学 、 健 康 管 理 等 领域 ， 也 
将 彻 展 改变 统计 的 基础 。 可 以 预见 ， 从 抽样 数据 到 全 量 数 据 ， 将 引发 
统计 乃至 整个 社会 管理 的 巨大 变化 。 

GO 结构 与 非 结构 

数据 主要 分 为 三 类 : 一 是 结构 数据 ， 人 简单 来 说 束 是 数据 库 ， 和 是 由 
二 维 表 结 构 来 逻辑 表达 和 实现 的 数据 ， 严 格 地 遵循 数据 格式 与 长 度 规 
范 ， 主 要 通过 关系 型 数据 库 进行 存储 和 管理 ， 二 是 非 结构 数 据 ， 一 般 
指 无 法 结构 化 的 数据 ， 如 音频 、 视 频 、 图 像 等 ;三 是 半 结 构 数 据 ， 它 
的 数据 是 有 结构 的 ， 但 却 不 方便 模式 化 ， 有 可 能 因为 描述 不 标准 ， 有 
可 能 因为 描述 有 伸缩 性 ， 总 之 不 能 模式 化 。 从 处 理 的 角度 看 ， 结 构 数 
据 相 对 简单 ， 目 前 对 于 结构 数据 处 理 的 技术 相对 成 熟 。 非 结构 数据 及 
半 结 构 数据 ， 它 们 的 处 理 技术 仍 处 于 探索 阶段 。 长 期 以 来 ， 在 整个 社 
会 的 数据 中 结构 数据 的 占 比 达到 95% 以 上 ， 非 结构 数据 非常 少 。 但 近 


年 来 ， 竺 别 是 面 问 未 来 ， 非 结构 数据 将 呈现 井喷 式 的 发 展 ， 占 比 将 大 
幅度 地 所 升 。 但 是 ， 带 来 的 问题 是 未 来 需要 我 们 更 多 地 管理 和 处 理 非 
结构 数据 ， 这 既是 一 个 挑 成 ， 更 是 一 个 商机 。 

(质量 与 数量 、 维 度 

过 去 是 一 个 数据 有 限 的 时 代 ， 能 够 获取 数据 的 数量 是 有 限 的 ， 维 
度 束 更 少 。 在 数据 有 限时 代 ， 人 们 更 多 地 关注 数据 质量 问题 ， 但 面 同 
未 来 ， 在 数据 化 、 物 联网 、 感 应 终端 大 量 应 用 的 情况 下 ， 数 据 将 呈 
现 “ 指 数 级 ”增长 的 趋势 ， 数 据 在 量 上 会 极 大 地 丰富 ， 从 而 出 现 一 个 现 
象 ， 即 数据 的 目 验 证 能 力 。 当 数据 量 大 到 足够 产生 目 验 证 能 力 时 ， 整 
会 降低 对 数据 质量 的 要 求 。 我 们 可 以 在 日 常生 活 中 找到 这 样 的 例子 ， 
当 描 述 一 个 对 象 “ 点 ”的 数量 足够 大 时 ， 尽 管 单个 点 不 是 那么 清晰 ， 但 
从 大 的 轮廓 和 面 上 看 ， 对 象 是 清晰 的 。 


除了 数据 的 “ 量 * 和 “ 质 * 的 关系 外 ， 还 要 看 到 一 个 问题 ， 无 处 不 在 
的 感应 终端 能 够 使 数据 的 维度 极 大 地 丰富 ， 从 而 使 对 对 象 的 描述 更 加 
多 维 并 丰满 。 原 来 更 多 是 从 一 个 维度 去 看 ， 从 一 个 平面 去 看 问题 。 当 
数据 的 维度 不 断 丰 富 的 时 候 ， 束 可 以 从 N 个 维度 去 观察 对 象 ， 不 仅 可 
以 看 到 正面 ， 还 可 以 看 到 背面 和 侧面 等 ， 且 还 可 以 实时 地 观察 。 这 使 
很 多 在 传统 数据 环境 下 ， 原 本 不 可 能 实现 的 “对 象 刻画 ”成 为 可 能 。 交 
据 的 实时 获取 、 数 据 维度 的 丰富 ， 而 且 古 实时 丰富 ， 将 给 数据 利用 和 
创新 之 来 巨大 的 想象 空间 。 但 与 此 同时 ， 也 会 市 来 数据 的 “ 超 高 维 ” 问 
题 ， 挑 战 传统 统计 学 的 基础 。 


在 数据 从 质量 到 数量 再 到 维度 的 时 代 ， 我 们 从 原来 利用 大 数 法 则 
做 归 因 分 析 的 思维 模式 ， 转 回 未 来 利用 多 维 定律 进行 关系 分 析 的 思维 
模式 ， 从 几何 学 的 角度 看 ， 束 是 通过 多 点 进行 定位 的 方法 。 从 风险 分 
析 的 角度 看 ， 以 往 更 多 的 是 用 一 种 纵 同 的 思维 去 看 风险 ， 如 通过 对 一 
个 人 的 家 族 史 的 风险 分 析 ， 来 判断 他 的 性 格 以 及 各 种 各 样 风 险 因 素 ， 
但 直观 地 看 ， 这 个 方法 是 很 不 科学 的 。 未 来 不 但 可 以 利用 这 个 人 的 历 
史 数 据 ， 而 且 这 种 数据 是 多 维和 实时 的 ， 这 种 多 维 包 括 环境 数据 、 周 


边 人 对 他 的 描述 等 ， 能 够 更 加 客观 和 科学 地 对 其 风险 状况 进行 分 析 。 
这 就 古 从 质量 到 数量 再 到 维度 ， 融 来 的 数据 变迁 。 

外 内 部 与 外 部 

传统 企业 经 龟 ， 更 多 地 关注 内 部 数据 ， 包 括 公司 数据 和 行业 数 
据 。 但 这 些 数据 在 解释 问题 时 ， 是 非常 有 限 的 。 我 们 在 进行 企业 管理 
时 ， 无 论 是 在 趋势 判断 ， 还 是 在 预测 和 解释 上 ， 行 业内 部 数据 均 是 非 
党 有 限 的 ， 甚 至 是 不 足 的 ， 需 要 更 多 地 关注 和 利用 外 部 数据 。 所 以 ， 
以 前 更 多 地 依赖 于 内 部 数据 ， 未 来 会 更 多 地 依赖 于 外 部 数据 ， 而 能 否 
获取 充足 的 外 部 数据 ， 将 成 为 企业 经 营 管 理 的 重要 能 力 。 


名 历史 与 实时 


以 往 ， 我 们 更 多 征 利用 历史 数据 ， 而 且 数 据 的 使 用 、 处 理 都 有 一 
个 较 长 的 周期 。 这 种 时 清 的 存在 ， 越 来 越 挑 成 对 于 未 来 的 判断 。 更 重 
要 的 是 ， 过 去 的 数据 是 过 去 的 环境 成 吏 的 ， 未 来 的 情况 将 由 未 来 的 环 
境 决 定 ， 人 简单 地 用 过 去 预测 未 来 会 面临 巨大 的 挑战 。 当 然 ， 原 来 没 办 
法 ， 只 能 利用 历史 数据 。 但 是 ， 现 在 人 们 可 以 获取 大 量 的 实时 数据 ， 
这 束 给 了 我 们 无 限 的 想象 空间 。 男 外 ， 实 时 数据 也 面临 着 验证 和 稳定 
性 的 问题 ， 同 时 还 面临 着 对 于 数据 应 用 的 取舍 问题 ， 这 些 都 是 未 来 数 
据 应 用 中 面临 的 新 挑战 。 总 而 言 之 ， 我 们 将 从 更 多 地 依赖 于 历史 数 
据 ， 转 变 为 更 多 地 依赖 实时 数据 ， 同 时 在 依赖 和 使 用 实时 数据 的 过 程 
中 ， 也 面临 看 新 的 挑战 。 


6) 拥有 与 知道 


传统 的 数据 管理 都 希望 更 多 地 获取 数据 ， 那 么 要 先 建立 一 个 数据 
库 ， 具 备 一 定 的 存储 能 力 、 计 算 能 力 等 。 通 过 先 建立 目 己 的 数据 资源 
池 ， 然 后 ， 把 所 有 的 数据 放 到 这 个 池 里 ， 进 行 处 理 和 管理 。 但 未 来 行 
业 的 数据 与 社会 的 数据 相 比 ， 可 能 只 是 “ 九 牛 一 毛 ”， 我 们 会 越 来 越 多 
地 依赖 社会 数据 ， 而 社会 数据 是 一 个 海量 数据 ， 无 论 是 从 可 能 性 看 还 
征 从 经 济 性 看 ， 都 不 能 拥有 这 些 数 据 的 全 部 。 所 以 ， 未 来 的 数据 管理 


要 遵循 “不 求 所 有 ， 但 知 所 在 ?的 原则 ， 你 不 可 能 拥有 全 部 数据 ， 关 键 
和 核心 能 力 是 必须 知道 有 哪些 社会 数据 ， 这 些 数据 在 哪里 ， 通 过 哪些 
通道 能 够 获取 这 些 数据 。 不 必 将 所 有 的 数据 都 拿 到 本 地 ， 即 使 都 拿 来 
了 ， 明 天 又 更 新 了 ， 所 以 ， 这 有 是 数据 管理 理念 的 一 个 非常 重要 的 转 


QD 标准 与 语义 

在 传统 的 数据 管理 中 ， 建 立 统一 的 数据 标准 非常 重要 ， 如 每 一 个 
员工 都 有 一 个 16 位 或 18 位 代码 ， 必 须 按照 这 个 代码 录入 才 行 ， 否 则 ， 
系统 就 无 法 识别 。 但 未 来 使 用 更 多 的 是 外 部 数据 ， 是 社会 的 海量 数 
据 ， 我 们 不 可 能 要 求 这 些 外 部 数据 都 按照 公司 或 者 行业 的 标准 进行 区 


Re 

那么 ， 怎 么 解决 这 个 问题 呢 ? 未 来 将 进入 一 个 “后 标准 ”时 代 ， 或 
着 是 语 义 时 代 。 语 义 时 代 的 关键 ， 征 在 一 个 语义 环境 下 定义 每 个 字 
六 。 给 大 家 举 一 个 最 简单 的 例子 一 一 革 末 。 从 传统 “标准 ”思维 看 ,“ 蔷 
条 ?有 至 少 两 个 代码 标准 ， 一 个 是 “苹果 1”， 夯 一 个 是 “ 苹 采 2”, “苹果 
1” 是 指 水 果 , “苹果 2” 是 手机 ， 不 然 输 入 计算 机 里 ， 束 无 法 辨别 到 瓜 是 
手机 ， 还 是 水 果 。 但 在 语义 时 代 ， 当 输入 一 个 词语 ， 语 义 技 术 通 过 语 
境 ， 残 能 够 判断 其 准确 的 元 意 ， 正 如 人 们 在 日 第 交流 谈话 时 ， 肯 定 不 
会 产生 这 样 的 误解 ， 因 为 有 一 个 交流 的 语 境 存在 。 未 来， 这 种 语义 分 
析 技 能 ， 将 成 为 数据 管理 的 入 | 级 要 求 ， 这 是 利用 社会 数据 的 基本 
功 。 

满足 与 追随 

传统 的 数据 管理 和 处 理 是 先 建 立 一 定 的 数据 处 理 能 力 ， 然 后 ， 将 
数据 从 各 个 地 方 提取 过 来 ， 通 过 计算 中 心 集中 人 处理 ， 并 提交 一 个 结 
条 。 所 以 ， 在 这 种 模式 下 ， 必 然 会 涉及 数据 采集 、 去 哪里 采集 、 数 据 
迁移， 以 及 数据 存储 等 一 系列 问题 。 然 而 ， 这 种 模式 在 未 来 将 面临 很 
大 的 挑战 ， 不 但 是 计算 效率 受到 挑 成 ， 而 且 实现 可 能 性 也 受到 挑战 。 
因为 ， 你 不 可 能 把 那么 多 的 数据 都 拿 来， 也 没有 必要 。 因 此 ,未 


来 < 数 " 和 " 算 * 的 位 置 会 发 生 反 转 。 原 来 是 数据 追随 和 服从 计算 ， 而 未 
来 计算 会 倒 过 来 追随 和 服从 数据 ， 即 数据 在 哪里 ， 计 算 就 追随 到 哪 
里 ， 在 数据 所 在 地 进行 计算 ， 然 后 ， 把 计算 的 结果 传 回来 。 

这 是 未 来 关于 “ 数 *" 和 “ 算 ” 的 解决 方案 ， 这 又 是 一 项 挑战 。 这 用 征 
大 家 都 在 讲 大 集中 ， 当 我 们 把 所 有 的 数据 都 集中 在 一 起 ， 你 会 发 现 其 
中 大 量 的 数据 实际 上 是 没有 用 的 。 所 以 ， 一 家 公司 的 数据 像 一 个 金字 
塔 ， 数 据 管理 就 像 在 金字 塔 中 间 打 一 个 " 井 *， 把 最 重要 的 核心 数据 集 
中 起 来 就 可 以 了 ， 很 多 边缘 的 数据 不 需要 把 它 集中 起 来 ， 因 为 ， 它 们 
只 需要 本 地 计算 ， 而 集中 也 需要 成 本 。 


@ 数 据 与 可 视 化 


未 来 的 数据 展示 将 走向 可 视 化 ， 以 前 都 古 看 报表 ， 现 在 看 到 的 更 
多 是 仪表 盘 一 类 的 可 视 化 展示 ， 这 也 十 数 据 的 一 个 重要 变化 ， 即 可 视 
化 。 可 视 化 技术 在 未 来 具有 广阔 的 应 用 前 景 ， 尤 其 对 于 数据 管理 人 员 
等 ， 数 据 展现 将 更 加 直观 、 生 动 、 具 象 ， 视 觉 传 递 效 采 更 佳 。 以 前 表 
述 一 组 数据 ， 需 要 大 量 的 解释 说 明 ， 而 现在 如 采用 一 个 饼 图 、 柱 状 图 
束 可 以 一 目 了 然 了 。 面 向 未 来 ， 数据 的 可 视 化 形式 的 转变 ， 将 为 我 们 
的 内 部 管理 和 外 部 客户 沟通 提供 很 大 的 改进 和 完善 空间 。 

了 0 高 成 本 与 接近 免费 

最 后 ， 也 是 非常 重要 的 转变 ， 就 是 数据 从 高 成 本 到 接近 于 免费 。 
从 传统 思维 看 ， 数 据 的 获取 是 需要 代价 的 ， 天 下 没有 免费 的 午餐 ， 任 
何 一 个 数据 获得 都 症 有 成 本 的 。 不 管 是 做 市 场 调查 ， 还 是 去 外 部 购 天 
数据 ， 都 是 要 伦 线 的 ， 束 算是 内 部 数据 也 不 是 免费 的 ， 从 孙 入 到 处 
理 、 传 输 和 存储 ， 部 是 有 成 本 的 。 但 在 互联 网 和 大 数据 时 代 ， 数 据 如 
同 空气 般 地 存在 于 整个 社会 中 ， 而 且 许 多 数据 是 “与 生 俱 来 *? 的 。 同 
时 ， 各 国政 府 也 在 推动 数据 (特别 是 公共 部 门 的 数据 ) 向 社会 开放 。 
奥巴马 束 任 时 就 说 ， 在 他 的 任期 内 ， 要 推动 公共 数据 开放 到 20%。 为 
什么 ? 因为 公共 数据 、 社 会 数据 的 开放 ， 会 带动 整个 社会 的 创新 ， 数 
据 开 放 产 生 的 创新 推动 力 是 难以 想象 的 。 


很 多 人 有 否 思 妙 想 ,但 是 得 不 到 数据 的 验证 和 文 持 。 如 采 把 这 些 
数据 都 开放 的 话 ， 那 么 人 们 就 会 通过 这 些 数 据 发 现 很 多 改进 空间 和 价 
值 注 地 。 面 向 未 来 ， 数 据 可 以 是 免费 的 ， 当 然 也 不 必 全 部 人 免费， 至 少 
越 来 越 多 的 数据 可 以 是 免费 的 ， 或 者 说 征 趋 于 免费 ， 这 将 大 大 降低 利 
用 数据 进行 创新 的 门框 。 所 以 我 认为 ， 未 来 数据 获取 和 利用 能 力 将 成 
为 决定 企业 经 香 、 成 本 和 创新 的 一 个 重要 因素 。 因 此 ， 获 取 数 据 ， 特 
别 是 免费 获取 数据 将 成 为 企业 的 关键 能 


(二 ) 决策 从 小 数据 收集 开始 


《孙子 : 谋 攻 篇 》 中 说 : “知己 知 彼 ， 百 战 不 列 。? 意 思 坪 说， 在 军 
事 纷争 中 ， 既 了 解 敌 人 人， 又 了 解 目 己 ， 打 起 会 来 惑 可 以 一 直立 于 不 败 
之 地 。 


然而 ， 你 并 不 一 定 能 够 收集 到 足够 的 数据 ， 甚 至 有 时 候 你 收集 到 
的 数据 根本 没有 价值 。 一 个 重要 的 问题 束 是 如 何 能 准确 有 效 地 收集 所 
需要 的 数据 ， 以 客观 而 全 面 地 反映 所 要 决策 问题 的 真实 状况 ， 这 整 是 
小 数据 的 收集 。 

小 数据 的 收集 钙 我 们 每 一 项 决策 活动 的 先行 环节 ， 是 决策 工作 的 
必 备 工作 和 关键 性 工作 ， 我 们 可 以 依靠 掌握 的 相关 信息 及 由 此 信息 反 
映 出 的 机 会 ， 对 决策 行为 做 出 判断 。 小 数据 收集 也 必须 建立 在 调查 的 
基础 上 ， 只 有 充分 地 调查 和 分 析 ， 小 数据 的 收集 才能 有 的 放 天 ， 更 有 
针对 性 ， 才 能 找到 突破 口 和 机 会 。 要 做 好 小 数据 收集 这 项 工作 ， 必 须 
做 到 以 下 几 点 。 

一 征 要 有 很 强 的 执行 力 。 数 据 收集 是 一 个 非常 素 人 人， 非常 烦 珊 的 
事情 ， 只 有 严格 地 去 执行 ， 得 出 结果 ， 才 能 将 愿景 落实 到 细 记 。 

二 是 要 有 过 问 思维 。 说 得 直 日 点 就 是 换 位 思考 ， 从 一 个 数据 使 用 
者 的 角度 来 看 竺 问题 ， 如 何 把 握 数 据 分 析 的 切入 点 ， 与 其 说 拼 的 是 分 


析 能 力 还 不 如 说 是 思维 的 较量 。 

三 征 有 认真 对 行 的 态度 。 态 度 决 定 一 切 ， 你 对 一 件 事情 是 什么 态 
度 ， 束 注定 了 这 件 事情 的 结 来 。 

四 是 要 有 耐心。 数据 收集 不 是 一 朝 一 夕 的 事 ， 它 会 化 费 你 大 量 的 
时 间 和 精力 ， 这 殊 需 要 你 有 足够 的 耐心 ， 让 身体 的 生物 钟 去 影响 你 的 
思维 ， 将 小 数据 收集 工作 持续 下 去 。 


(三 ) 小 数据 收集 也 有 穷 门 


(1) 巧 用 “关键 词 ” 检 索 


数据 收集 能 够 收集 许多 东西 ， 但 也 不 能 漫 无 目的 地 去 收集 。 关键 
词 搜索 是 网 络 搜索 索引 的 主要 方法 之 一 ， 就 是 希望 访问 者 了 解 的 产品 
或 服务 或 者 公司 等 的 具体 名 称 的 用 语 。“ 关 键 词 * 在 很 多 方面 都 能 起 到 
比较 重要 的 作用 ， 能 够 快速 对 某 事 、 某 物 进行 定位 ， 提 升 小 数据 的 收 
集 效率 。 


你 可 以 命令 搜索 引擎 寻找 任何 相关 内 容 ， 所 以 关键 词 的 内 容 可 以 
征 : 人 人 名、 网站、 新闻、 小说、 软件 、 游 戏 、 星 座 、 工 作 、 购 物 、 论 
文 、 视 频 等 。 增 加 核心 关键 词 的 数量 ， 可 以 有 更 多 的 机 会 搜索 到 所 需 
数据 的 结果 。 在 多 数 情 况 下 ， 输 入 两 个 关键 词 ， 束 能 有 很 好 的 搜索 结 
果 。 


(2) 使 用 顺序 观察 法 


顺序 观察 法 是 一 种 观察 事物 的 基本 方法 ， 尤 其 适用 于 小 数据 的 收 
集 。 对 静态 的 事物 按 一 定 的 方位 次 序 做 仔细 全 面 的 观察 ， 对 动态 的 事 
物 按 发 展 变化 的 阶段 有 层次 地 了 解 其 全 过 程 ， 这 种 按照 一 定 的 顺序 对 


事物 进行 逐一 观察 的 方法 即 为 顺序 观察 法 。 运 用 顺序 观察 法 收集 小 数 
据 时 有 儿 个 要 点 。 

一 古 先 观察 对 象 分 布 、 组 合 、 罗 列 的 空间 位 置 以 及 出 现 、 变 换 的 
先后 次 序 ， 提 前 对 所 需要 的 小 数据 的 收集 顺序 做 好 判断 。 

二 是 考虑 按照 什么 顺序 进行 观察 。 一 般 情况 下 ， 如 采 是 静态 的 事 
物 ， 构 成 义 比较 复杂 ， 分 布 也 比较 散乱 ， 那 束 可 按 空间 位 置 排列 观察 
顺序 : 或 从 左 到 右 ， 或 从 上 到 下 ， 或 由 里 而 外 ， 或 目前 问 后 ， 或 由 近 
及 远 ， 或 由 整体 到 局 部 ， 当 然 也 可 以 反 过 来 进行 。 如 采 是 动态 的 事 
物 ， 则 可 按时 间 先 后 的 顺序 进行 观察 。 

三 征 确 定好 观察 点 ， 这 有 是 我 们 观察 事物 的 立足 点 ， 它 可 以 是 固定 
的 ， 也 可 以 是 移动 的 ， 观 察 点 的 变动 也 应 遵循 一 定 的 顺序 。 


熟练 地 掌握 这 一 方法 后 ， 我 们 所 需要 的 小 数据 就 能 清晰 地 展现 出 
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(3) 尝试 运用 关联 分 析 


关联 分 析 束 是 寻找 数据 库 中 值 的 相关 性 ， 即 一 个 事物 的 出 现 可 能 
会 导致 刃 一 个 事物 随 之 出 现 ， 两 个 事物 之 间 存 在 着 既定 的 相互 关系 。 
关联 分 析 又 称 头 联 挖 握 ， 允 是 在 交易 数据 、 关 系数 据 或 其 他 信息 载体 
中 ， 查 找 存在 于 项 目 集合 或 对 象 集 合 之 间 的 频 笃 模式、 关联 、 相 关 性 
或 因果 结构 。 或 者 说 ， 关 联 分析 是 发 现 交易 数据 库 中 不 同 商品 (项 ) 
之 间 的 联系 。 

小 数据 收集 使 用 关联 分 析 可 以 减少 数据 采集 次 数 与 频率 ， 关 联 分 
析 的 任务 束 是 从 数据 集中 挫 掘 出 频 烷 项 集 ， 然 后 从 频 驼 项 中 提取 出 事 
物 之 间 的 强 关 联 规则 ， 辅 助 决策 。 


(4) 注重 异常 数据 提取 


很 多 人 认为 在 处 理 大 数据 时 忽略 各 种 异常 数据 是 最 好 的 做 法 ， 为 
此 他 们 创建 了 复杂 的 过 滤 程 序 ， 来 舍弃 那些 异常 的 信息 ， 因 为 异 毅 往 
往 会 导致 结果 的 不 准确 。 但 实践 证 明 ， 在 某 些 时 候 和 某 些 特定 的 情景 
中 ， 异 常数 据 要 比 其 他 的 数据 更 有 价值 。 而 这 个 说 过 滤 挥 的 数据 恰恰 
古 小 数据 要 采集 的 重点 。 

通常 情况 下 ， 只 要 数据 集 的 规模 足够 大 ， 异 常 现象 束 总 会 随 之 出 
现 ， 需 要 我 们 去 核查 自己 数据 分 析 工 具 的 采集 逻辑 、 处 理 逻 辑 。 不 好 
的 异常 处 理 方式 容易 造成 逻辑 混乱 ， 脆 弱 而 难于 管理 。 而 一 旦 采集 逻 
辑 和 处 理 逻 辑 被 证 明 是 正确 的 ， 这 个 异常 数据 束 会 作为 小 数据 的 采集 
对 象 ， 采 集 到 的 数据 可 以 描述 用 户 在 使 用 过 程 中 的 特殊 行为 。 


(5) 善于 捕 提 <“ 亮点 数据 ” 

亮点 数据 一 般 发 生 在 数据 内 容 的 关键 环 和 ， 往 往 会 以 一 种 高 亮 、 
突出 、 变 形 的 方式 展现 在 你 面前 ， 这 种 数据 也 可 称 为 重点 数据 ， 是 数 
据 最 想 表 达 的 内 容 。 遇 见 这 种 数据 时 ， 你 可 以 比较 容易 地 将 其 记录 下 
来 ， 成 为 我 们 所 需要 的 小 数据 。 但 有 时 亮点 数据 也 存在 于 一 个 不 起 眼 
的 角落 ， 需 要 你 细心 留意 、 仔 细 观 察 。 一 旦 你 发 现 了 这 种 "不 起 腿 ? 的 
数据 ， 束 意味 大 你 将 会 比 别人 拥有 更 多 的 数据 分 析 基 础 ， 甚 至 能 够 改 
变 整 个 决策 结 采 。 

捕捉 腕 点 数据 需要 养 成 民 好 的 数据 收集 习惯 ， 有 时 我 们 对 某 些 数 
据 会 产生 一 些 灵 感 ， 束 应 及 时 地 把 它们 记录 下 来 ， 发 现 确 实 有 独 具 匠 
心 之 处 束 应 该 归纳 和 总 结 。 日 积 月 素 ， 等 时 间 长 了 ， 我 们 经 过 对 数据 
的 收集 、 整 理 、 归 纳 ， 束 目 然 会 形成 亮点 数据 的 寻找 逻辑 ， 形 成 可 中 
的 小 数据 收集 经 验 。 


(四 ) 一 个 用 户 如 何 通过 小 数据 来 构成 


如 条 我 们 把 一 个 用 户 作为 一 次 决策 服务 对 象 的 整体 ， 那 么 对 于 用 
户 全 方位 的 关键 信息 获取 将 成 为 数据 收集 的 关键 。 

以 一 个 科研 用 户 的 小 数据 构成 来 看 ， 科 研 用 户 小 数据 旦 密切 以 用 
户 为 中 心 而 进行 收集 、 感 知 和 获取 的 ， 其 渔 兽 了 用 户 特征 数据 、 情 景 
状态 数据 、 线 上 活动 数据 、 线 下 活动 数据 、 用 户 生成 数据 以 及 科研 角 
色 数 据 。 

(1) 基础 特征 数据 主要 收集 的 是 对 用 户 基 本 信息 特征 的 描述 ， 如 
年 龄 、 性 别 、 专 业 、 兴 趣 偏 好 、 职 称 、 工 作 年 限 等 。 


(2) 情景 状态 数据 主要 收集 的 是 对 用 户 实时 情景 的 描述 ， 如 当前 
所 处 的 物理 状态 、 活 动 状态 、 心 理 状 人 态 、 需 求 状 态 、 目 标 状态 等 。 

(3) 线 上 活动 数据 主要 收集 的 是 对 研究 过 程 中 用 户 网 络 行为 的 描 
述 ， 如 网 页 浏 蜗 、 数 据 共 至、 数据 收藏 、 知 识 库 访问 、 服 务 咨询 、 文 
献 传递 、 在 线 阅 读 、 网 上 学 习 等 。 

(4) 线 下 活动 数据 主要 收集 的 是 对 用 户 研究 过 程 中 现实 活动 行为 
的 描述 ， 如 团队 内 部 交流 数据 、 学 习 、 阅 读 、 会 议 参与 、 知 识 咨询 、 
经 验 分 至 、 课 程 教学 空间 位 置 等 。 

(5) 用 户 生 成 数据 主要 收集 的 是 在 研究 过 程 中 或 服务 接受 过 程 中 
用 户 对 产生 数据 的 摘 述 ， 如 社交 数据 、 人 研究 过 程 中 产 出 数据 、 服 务 评 
价 、 内 容 评价 、 阅 读 笔记 、 研 守 心 得 、 成 果 展 示 等 。 

(6) 科研 角色 数据 主要 收集 的 是 对 用 户 研究 过 程 中 科研 任务 和 科 
研 角色 的 描述 ， 如 项 目 实施 进度 、 人 员 变 化 、 角 色 变 化 、 任 务 临 时 调 
整 、 附 属 任 务 、 突 发 事件 等 。 

这 些 数 据 以 全 方位 、 多 层次 的 方式 描述 了 科研 用 户 的 研究 模式 和 
需求 变化 ， 实 现 了 用 户 个 体 的 个 性 化 与 数据 的 实时 化 (如 表 12-1 所 
TS 


表 12-1 科研 用 户 小 数据 的 构成 


数据 类 型 作 用 范 围 来 源 
基本 信息 ， 如 年 龄 、 性 别 、 | 隶属 单位 、 图 书馆 
站 息 
基本 特征 数据 es 专业 、 兴 趣 偏 好 、 职 称 、 工 | 数据 库 、 学 习 网 站 
人 作 年 限 等 等 
| 当前 所 处 的 物理 状态 、 活 动 | 传感器、 网 络 监测 、 
情景 状 态 数 据 | ”有 让 实时 情景 | 状态 、 心理 状态 、 需 求 状态 、| 视频 设备 、 移 动 设 
的 描述 gy 
目标 状态 等 备 等 
网 页 浏览 、 数 据 共享 、 数 据 | 移动 网 络 监测 、 用 
对 研究 过 程 中 用 
收藏 、 知 识 库 访 问 、 服 务 咨 | 户 日 志 、 图 书馆 管 
线 上 活动 数据 | 户 网 络 行为 
I 党 行为 的 描 | 询 、 文 献 传递 、 在 线 阅读 、 | 理 系统 、 科 研 管理 
人 网 上 学 习 等 系统 等 
团队 内 部 交流 数据 、 学 习 、 | 传感器 .图 书馆 员 、 
对 用 户 研究 过 程 
阅读 、 会 议 参与 、 知 识 咨询 、| 科研 团队 、 同 行 专 
线 于 二 现实 》 一 休闲 
0 er 经 验 分 享 、 课 程 教学 空间 位 | 家 、 相 关 信 息 系统 、 
yJ1H 
轩 等 隶属 单位 等 
在 研究 过 程 中 或 | 社交 数据 、 研 究 过 程 产 出 数 | 用 户 合作 人 员 、 图 
辫 受 讨 程 SN 人 SS ~ 员 、 同 行 家 、 
用 生成 数据 | 服务 接受 过 程 中 据 、 服 务 评价 、 内 容 评价 书信 员 、 同 行 专家 
用 户 自 产生 数据 | 阅读 笔记 、 研 究 心得 、 成 果 | 网 络 监测 、 社 交 媒 
的 描述 展示 等 体 等 
S| 工具 、 > 
对 用 户 研究 过 程 | 项 目 实施 进度 、 人 员 变 化 、 ee 
科研 角色 数据 | 中 科研 任务 和 科 | 角色 变化 、 任 务 临时 调整、 ve 
研 角 色 的 描述 | 附属 任务 、 突 发 事件 等 . 


国家 政策 环境 等 


二 、 形 成 小 数据 思维 


(一 ) 小 数据 思维 


所 训 数 据 思 维 就 十 以 创造 数据 价值 为 目的 的 创新 思维 。 谈 及 小 数 
据 思 维 ， 我 们 不 得 不 先 从 大 数据 思维 说 起 。 大 数据 时 代 ， 和 人们 的 思维 
方式 发 生 了 极 大 的 转变 ， 具 体 表 现在 四 个 方面 : 第 一 ， 人 们 处 理 的 数 
据 从 样本 数据 转变 为 全 数据 ; 第 二 ， 全 样本 的 出 现 使 人 们 不 得 不 放弃 
原 有 的 精准 性 ， 而 转向 接受 数据 的 混杂 性 ， 第 三 ， 人 类 通过 对 大 数据 
的 处 理 ， 放 弃 了 对 因果 关系 的 交 求 ， 而 转 癌 对 相关 关系 的 关注 ; 第 
由， 大 数据 技术 虽然 没有 迫使 我 们 去 记忆 ， 但 是 其 促进 了 遗 起 的 终 
止 。 鉴 于 此 ， 小 数据 思维 主要 表现 为 四 个 方面 : 样本 思维 (精简 思 
维 ) 、 精 准 思 维 、 因 果 思 维和 遗忘 思维 。 


(1) 样本 思维 (小 数据 思维 是 以 小 见 大 ， 大 数据 思维 是 
以 大 见 小 ) 


在 大 数据 时 代 ， 人 们 在 利用 总 体 思 维 收集 、 存 储 、 分 析 人 类 行为 
大 数据 并 应 用 于 生产 、 生 活 、 工 作 的 同时 ， 小 数据 的 样本 思维 能 够 从 
更 加 细微 、 全 面 的 角度 获得 人 们 的 心理 数据 ， 行 为 数据 与 心理 数据 的 
结合 即 总 体 思 维 与 样本 思维 的 融合 ， 能 够 让 我 们 对 事物 的 认识 更 加 全 
面 、 精 准 、 立 体 和 系统 。 

我 们 在 这 里 提 到 了 小 数据 样本 ， 顾 名 思 义 ， 数 据 的 样本 少 ， 实 际 
上 讲 的 是 现存 样本 对 特征 空间 的 刻画 能 力 不 足 。 

过 拟 合 〈 是 指 为 了 得 到 一 致 假设 而 使 假设 变 得 过 度 复杂 ) 问题 是 
小 数据 时 代 的 核心 问题 之 一 。 大 数据 之 所 以 称 为 大 数据 ， 一 方面 是 因 


为 其 具有 能 够 超出 一 般 算法 或 一 般 硬件 的 计算 能 力 ; 另 一 方面 是 其 拥 
有 足以 用 来 刻画 样本 特征 空间 以 外 的 “超额 样本 ”。 其 中 ， 第 一 个 特征 
是 推动 云 计算 软件 发 展 的 动力 ， 第 二 个 特征 是 从 商业 模式 和 数据 分 析 
的 方法 论 层面 推动 行业 的 变化 。 大 数据 的 核心 价值 是 通过 搜索 小 样本 
数据 ， 将 其 聚集 为 海量 样本 数据 ， 通 过 目标 个 体 的 汇集 来 兑现 巨大 的 
商业 价值 ， 而 这 一 切 所 依赖 的 经 验 和 规则 是 从 小 样本 数据 中 挖掘 出 来 
的 。 也 就 是 说 ， 大 数据 的 总 体 思维 的 前 身 和 根基 就 是 小 数据 的 样本 思 
维 。 


此 外 ， 更 小 、 更 糊 民 的 数据 集 更 容易 过 沽 “噪声 "， 获 得 “信和 号 ”。 
存储 空间 的 成 本 正在 降低 ， 这 让 分 析 界 倾 问 于 分 析 全 部 数据 集 。 在 大 
数据 时 代 ， 人 们 希望 通过 部 署 一 个 技术 ， 融 可 以 解决 多 种 问题 。 供 应 
商 正在 积极 迎合 这 种 需求 ， 声 称 目 己 的 大 数据 软件 可 以 极 大 地 人 简化 业 
务 分 析 项 目 。 但 是 ， 与 其 无 限期 坐等 大 数据 软件 来 解决 一 切 问题 ， 不 
如 去 提升 目 己 的 预测 模型 。 定 义 预测 模型 的 变量 要 比 放 入 模型 中 的 大 
规模 数据 有 用 得 多 。 在 模型 中 加 入 更 多 的 数据 反而 会 增加 分 析 的 时 
间 。 在 分 析 数 据 集 的 时 候 ， 样 本 足以 揭示 总 量 的 规律 ， 而 且 更 快捷 。 
如 采 分 析 了 100 个 数据 万 点 之 后 ， 样 本 已 经 显而易见 了 ， 束 不 需要 继续 
分 析 剩 下 的 10 万 个 数据 市 点 了 ， 否 则 只 会 延长 项 目 ， 降 低 收益 。 


i (2) 精准 思维 (小 数据 思维 追求 精确 ， 大 数据 思维 接受 
关 未 


数据 科学 家 维克托 : 什 恩 伯 格 说 过 这 样 一 段 话 :“ 执 迷 于 精确 性 古 
言 尽 缺 乏 时 代 和 模拟 时 代 的 产物 。 只 有 5% 的 数据 是 结构 化 且 能 适用 于 
传统 数据 库 的 。 如 采 不 接受 混乱 ， 那 么 剩 下 的 95% 的 非 结构 化 数据 都 
无 法 利用 ， 只 有 接受 不 确定 性 ， 我 们 才能 打开 一 局 从 未 涉足 的 世界 之 
窗 。” 这 体现 了 分 析 海 量 数据 的 大 数据 的 一 种 容错 思维 ， 但 这 段 话 同时 

意味 厦大 数据 由 于 数据 量 庞 大 可 能 会 放弃 对 精准 性 的 追求 。 而 精准 
思维 是 一 种 非常 务实 的 思维 方式 ， 它 强调 具体 和 准确 ， 要 求 动 作 精 准 


到 位 ， 在 一 个 个 具体 的 点 上 解决 问题 ， 排 扩大 而 化 之 、 沉 而 统 之 地 抓 
工作 。 现 实 巴 盾 都 是 由 一 系列 具体 问题 素 积 起 来 的 ， 化 解 了 矛盾、 推进 
工作 必须 养 成 精准 思维 ， 从 一 个 个 具体 问题 入 手 ， 积 小 胜 为 大 胜 。 


对 精确 的 追求 ， 历 来 是 传统 的 小 数据 分 析 的 强项 ， 这 在 一 定 程度 
上 弥补 了 大 数据 的 “混杂 性 ”缺陷 。 考 虑 到 我 们 现在 处 于 一 个 数据 过 量 
而 技能 稀缺 的 时 代 ， 数 据 的 数量 不 是 最 关键 的 ， 大 数据 最 值钱 的 部 分 
忠 是 它 目 喘 。 即 便 小 数据 处 理 数据 量 不 是 很 大 ， 这 并 不 妨碍 我 们 去 更 
多 地 关注 数据 本 喘 的 价值 。 小 数据 收集 的 样本 信息 量 比 大 数据 少 ， 无 
须 快速 做 出 反应 ， 它 更 加 注重 的 是 非 结构 化 数据 之 间 的 关联 ， 重 视 的 
征 深 度 控 握 ， 所 以 能 够 确保 数据 具有 精确 化 特征 。 这 便 是 小 数据 的 又 
一 种 思维 ， 即 精准 思维 。 


(3) 因果 思维 (小 数据 思维 注重 因果 关系 ， 大 数据 思维 
注重 关联 关系 ) 


大 数据 时 代 ， 人 们 可 以 利用 数据 挖掘 技术 找到 与 事物 相关 联 的 隐 
向 性 内 容 ， 获 得 更 多 的 认 知 与 洞 见 ， 从 而 能 够 更 加 容易 、 更 加 快捷 、 
更 加 清楚 地 分 析 事 物 。 这 吏 是 大 数据 对 于 事物 本 质 的 相关 思维 。 利 用 
这 一 思维 ， 可 以 帮助 人 们 看 到 以 前 不 曾 注意 到 的 联系 ， 同 时 可 以 帮助 
人 们 更 好 地 预测 未 来 。 但 大 数据 往往 会 因 其 相关 性 的 统计 分 析 将 无 厘 
头 的 事物 一 并 牵扯 起 来 ， 而 忽略 其 内 在 因 采 逻辑 关系 。 


在 大 数据 时 代 ， 只 要 有 超大 样本 和 超 多 变量 ， 我 们 就 可 能 找到 无 
厘 头 式 的 相关 性 。 美 国政 府 每 年 公布 4.5 万 类 经 济 数据 。 如 果 你 要 找 失 
业 率 和 利率 受 什么 变量 影响 ， 你 可 以 罗列 10 亿 个 假设 。 只 要 你 反复 笠 
试 不 同 的 模型 ， 上 千 次 后 ， 你 一 定 可 以 找到 统计 学 意义 上 成 立 的 相关 
性 。 事 实 上 ， 对 因果 关系 的 人 退 寻 ， 征 人 类 惯 有 的 思维 ， 在 这 个 惯性 思 
维 的 推动 下 ， 很 容易 误 把 “相关 ” 当 “ 因 末 ” 一 一 这 是 我 们 需要 警惕 的 大 
数据 陷阱 。 


对 小 数据 而 言 ， 恰 好 与 大 数据 思维 相反 ， 小 数据 思维 强调 的 是 一 
种 因果 关系 ， 关 注 的 是 “为 什么 ”， 侧 重 于 通过 有 限 的 样本 数据 来 剖析 
其 中 的 内 在 机 理 。 因 此 ， 这 就 是 小 数据 的 一 种 因 琳 思维。 大 数据 时 
代 ， 在 大 批量 的 小 决策 上 ， 相 关 性 是 很 有 用 的 ， 而 在 小 批量 的 大 决策 
上 ， 因 采 关 系 是 至 关 重 要 的 。 大 数据 相关 思维 与 小 数据 因 末 思 维 结 
合 ， 可 以 协助 人 们 得 到 更 广 、 更 深 的 数据 洞察 ， 让 人 人们 更 加 透彻 地 了 
解 事情 的 相关 性 及 其 内 在 原因 。 


(4) 遗忘 思维 〈 小 数据 思维 是 适时 遗忘 ， 大 数据 思维 是 
永久 记忆 ) 


过 去 ， 我 们 不 断 努 力 ， 项 望 我 们 的 记忆 能 更 加 长 久 一 些 ， 尺 力 地 
延长 我 们 的 记忆 时 间 ， 而 大 数据 时 代 的 到 来 ， 可 以 将 记忆 永久 保存 ， 
这 解决 了 人 类 过 去 延长 记忆 的 问题 ， 也 给 入 们 市 来 了 新 的 困扰 和 难 


题 。 


目 古 以 来 ， 遗 坪 便 是 人 们 与 生 俱 来 的 一 种 能 力 ， 又 或 者 说 钙 一 种 
缺陷 。 于 是 ， 人 们 便 千方百计 地 去 提升 目 身 的 记忆 力 ， 记 住 目 己 映 边 
刀 至 这 个 世界 上 所 发 生 的 一 切 。 但 是 ， 人 脑 的 记忆 力 终归 是 有 限 的 ， 
外 部 记忆 成 了 人 们 拓展 记忆 力 的 另 一 条 重要 途径 。 从 最 初 的 结 绳 记 
事 ， 到 图 片 、 文 字 和 数字 的 发 明 ， 人 类 文 明 因 为 有 了 记忆 的 保存 才 得 
以 延续 。 从 强 结 到 现在 的 文字 、 声 首 、 图 片 和 视频 的 记录 ， 人 们 可 以 
说 已 经 掌握 了 记忆 的 奥秘 ， 可 以 记录 下 想 要 记录 的 一 切 。 过 犹 不 及 似 
乎 是 一 条 非 肖 实用 的 真理 ， 在 人 们 可 以 永久 地 、 完 全 地 、 丝 坚 不 差 地 
记录 下 一 切 的 时 候 ， 这 真 的 是 人 们 想 要 的 吗 ? 


超 强 的 记忆 并 不 代表 我 们 将 拥有 超 强 的 学 习 能 力 ， 在 大 量 记忆 下 
来 的 信息 中 ， 提 取 有 效 的 信息 ， 将 其 整理 分 析出 有 效 的 结 采 才 是 我 们 
最 终 需 要 的 学 习 能 力 。 除 了 有 效 的 信息 外 ， 剩 下 的 信息 垃圾 我 们 融 应 
当 将 其 彻 确 遗 筷 ， 才 不 会 对 我 们 产生 困扰 和 阻碍 ， 因 此 ， 在 大 数据 时 


代 ， 如 何 提 取 有 效 信息 并 记忆 ， 将 大 量 的 、 无 效 的 或 者 过 时 的 信息 删 
除 并 遗 坪 ， 是 我 们 应 当 考 虑 的 一 大 问题 。 


(二 ) 一 面 了 解 我 们 内 心 的 镜子 


炙手可热 的 墨 科 技 电视 剧 《 墨 镜 》 在 第 三 季 第 一 集中 设计 了 一 个 
以 社交 印象 评分 系统 为 核心 的 社会 。 故 事 设 定 在 科技 发 达 的 未 来 时 
代 ， 人 们 的 眼睛 中 被 植 入 了 类 似 于 隐形 眼镜 的 狼 置 ， 可 以 实现 裸眼 AR 
的 效果 。 这 个 世界 存在 一 个 评分 系统 ， 当 你 和 任何 人 产生 任何 社交 行 
为 后 ， 部 需要 通过 手中 的 终端 系统 为 其 评分 。 分 数 从 1~5， 代 表 着 你 对 
这 个 人 的 印象 ， 评 分 系统 和 各 项 社会 福利 挂钩 。 通 党 4.5 分 以 上 的 人 被 
认为 是 高 分 人 群 ， 他 们 可 以 至 受到 更 多 优先 的 社会 资源 ， 比 如 租房 福 
利 、 机 场 快 速 通道 、 更 优质 的 教育 与 医疗 服务 等 。 而 低 于 2.5 分 的 人 ， 
即使 健康 健全 也 会 被 看 作 异 类 ， 失 去 工作 和 住房 ， 被 整个 社会 体制 抛 
弃 。 有 观点 认为 ， 黑 镜 的 这 一 设 定 不 仅 “ 把 隐 性 的 东西 显 性 化 ”了 ， 还 
在 一 定 程 度 上 诠释 了 征 信 机 构 的 信用 评分 。 

但 是 在 黑 镜 的 设 定 下 ， 目 我 是 由 他 人 随意 或 认真 地 决定 的 ， 它 只 
苹 让 我 们 更 加 清晰 地 认识 到 人 们 对 量化 自我 的 认 知已 经 非常 深入 了 ， 
甚至 对 此 展开 了 更 加 深入 的 有 关 社 会 问题 的 思考 ， 表 明 量 化 目 我 是 未 
来 趋势 的 所 在 。 而 在 小 数据 的 数据 观 下 ， 量 化 目 我 只 是 基于 个 体 行 
为 ， 为 个 体 提供 数据 服务 ， 并 不 代表 深层 次 的 社会 含义 。 当 你 打开 滴 
滴 出 行 、 网 易 云 首 乐 、 新 当 微 博 、 淘 宝 客 尸 端 时 ， 你 都 会 或 多 或 少 地 
看 到 类 似 于 出 行 指数 等 各 式 各 样 的 积分 ， 而 这 些 积分 其 实 只 是 我 们 被 
各 类 应 用 软件 所 量化 的 结果 。 作 为 个 体 的 全 部 ， 我 们 还 未 完整 地 了 解 
目 我 ， 或 者 说 真正 地 了 解数 字 育 后 的 含义 。 

事实 上 ， 我 们 正在 经 历 的 ， 征 一 个 能 够 将 隐藏 在 内 心 的 行为 、 侦 
好 和 感情 逐步 通过 机 器 学 习 等 技术 进行 “ 显 性 化 ”的 过 程 。 这 一 过 程 既 
征 量 化 目 我 的 过 程 ， 同 样 也 是 认 清 目 我 的 过 程 。 全 球 信息 技术 研究 和 


顾问 公司 Gartner 预 测 ， 随 着 情感 人 工 智能 日 益 成 熟 ， 个 人 设备 2022 年 
将 比 你 的 家 人 更 了 解 你 的 情绪 状态 ， 它 们 正在 产生 多 种 颠 禾 性 力量 ， 
重 塑 我 们 与 自我 的 互动 方式 。Gartner 人 研究 总 监 Roberta Cozza 认 为 : “ 情 
感 AI 系 统 (Emotion AI Systems) 与 情感 计算 (Affective Computing ) 
正在 赋予 日 常 物品 探测 、 分 析 、 处 理 和 回应 人 类 感情 和 情绪 的 能 
由 此 提供 更 准确 的 场景 信息 以 及 更 加 个 性 化 的 体验 。” 

而 随 着 第 二 波 潮流 的 涌现 ， 情 感 AI 系 统 将 为 越 来 越 多 的 客户 带 来 
更 具体 、 更 细 化 、 更 深入 的 场景 体验 ， 其 中 包括 : 深度 快乐 体验 、 深 
度 悲 伤 体 难 、 深 度 念 惧 体验 等 。 一 旦 情感 AI 系统 渗透 到 这 些 深层 次 的 
场景 体验 中 ， 人 们 将 会 通过 这 些 个 人 设备 提炼 出 更 多 关于 目 己 内 心 的 
数据 ， 这 些 数据 会 像 一 面 镜子 一 样 反 映 出 我 们 真实 的 自我 ， 从 而 让 我 
们 更 加 了 解 目 己 。 


(三 ) 个 性 化 的 选择 与 取舍 


小 数据 思维 是 对 个 体 进 行 个 性 特征 的 提炼 ， 讲 究 的 是 个 性 化 、 定 
制 化 ， 但 并 非 每 个 行业 都 适用 小 数据 思维 。 比 如 一 些 大 型 企业 为 了 追 
求生 产 效率 ， 往 往 不 喜欢 定制 化 ， 如 芋 采 公司 的 手机 连 内 存 都 不 让 你 
加 。 这 是 因为 不 同行 业 因 为 其 生产 特点 不 同 ， 不 是 所 有 产品 都 适用 于 
个 性 化 定制 。 智 能 手机 虽然 要 求 个 性 化 ， 但 手机 的 硬件 更 加 标准 化 ， 
因为 这 样 能 够 最 大 限度 地 降低 成 本 。 在 这 个 时 候 ， 我 们 也 同样 需要 运 
用 小 数据 思维 ， 放 弃 对 多 余 信息 的 使 用 。 

但 是 让 我 们 深入 思考 一 下 ， 人 们 本 质 上 是 喜欢 定制 化 产品 的 ， 根 
本 原因 在 于 人 们 解决 了 生产 效率 的 难题 以 后 ， 个 性 化 才 有 是 真正 的 目 
的 。 如 今 定制 化 应 用 最 广泛 的 当 属 3D 打 印行 业 ，3D 打 印 已 经 开始 走 进 
千家 万 尸 ， 满 足 人 们 个 性 化 定制 需求 ， 实 现 万 物 互联 、 万 物 打印 ， 让 
人 们 体验 到 创意 变 为 现实 的 快乐 。 


当 人 们 走 进深 圳 市 七 号 科技 公司 时 ， 参 观 者 都 会 被 眼前 琳 环 满 
目 、 形 状 各 异 、 色 彩 斑 壮 的 各 种 3D 打 印 产品 所 震撼 。 七 号 科技 公司 执 
行 董事 梁 虹 表示 : “万 物 万 样 ， 未 来 的 世界 是 个 性 化 的 世界 。”3D 打 印 
技术 与 物 联 网 技术 、 大 数据 、 云 计算 、 机 嚣 人、 智能 材料 等 其 他 先进 
技术 结合 ， 构 成 了 一 个 智能 产业 生态 系统 。 但 更 为 重要 的 是 ， 设 计 师 
可 以 将 各 种 富有 创新 意义 的 设计 放 到 数据 库 平台 上 ， 普 通用 户 通过 物 
联网 技术 可 以 目 由 选择 需要 的 产品 ， 然 后 在 家 里 打印 出 来 ， 从 而 实现 
万 物 互联 、 万物 打印 。 

“这 一 平台 可 以 为 设计 师 、 创 客 、3D 打 印 产品 广 商 、3D 打 印 服 务 
提供 商 、 学 校 、 培 训 机 构 、 家 庭 消费 着 提供 3D 打 印 设备 、 设 计 交 易 、 
材料 及 数据 服务 ， 并 为 个 性 化 、 小 批量 生产 创造 云 制造 环境 ， 帮 助 设 
计 师 、 创 客 将 设计 创意 变现 。” 梁 虹 介 绍 。 更 多 的 产品 ， 会 借助 个 性 化 
定制 ， 向 用 户 提供 更 多 的 个 性 化 设计 ， 这 恰恰 又 是 小 数据 思维 运用 与 
选择 的 最 佳 体现 。 


(四 ) 从 海量 信息 中 突围 


数据 在 信息 发 达 时 代 并 非 稀缺 因素 ， 获 取信 息 的 渠道 也 越 来 越 让 
富 ， 一 个 反思 性 的 命题 需要 被 认真 对 待 : 信息 越 多 ， 真 的 越 徘 近 真相 
吗 ? 答案 是 否定 的 。 互 联网 在 产生 大 量 信息 的 同时 ， 也 产生 了 前 所 未 
有 的 信息 噪声 ， 这 会 使 人 们 更 难以 看 清 事物 的 真相 。 但 是 越 来 越 多 的 
新 闻 媒体 平台 开始 运用 小 数据 思维 ， 从 海量 数据 中 提取 出 个 性 化 的 价 
值 ， 使 目 身 成 为 互联 网 时 代 下 新闻 媒体 的 佼佼 者 。 


2014 年 4 月 ， 三 家 国外 媒体 推出 了 各 自 的 新 网 站 ， 分 别 是 Vox 媒 体 
旗下 同名 网 站 Vox，ESPN 旗 下 的 FiveThirtyEight， 以 及 《纽约 时 报 》 旗 
下 的 TheUpshot。 三 个 媒体 网 站 推出 时 间 点 集中 ， 且 定位 也 基本 一 致 : 
基于 数据 的 力量 ， 癌 读者 解释 各 种 复杂 性 事件 。 在 这 些 新 兴 网 站 上 ， 
你 可 以 清楚 地 看 到 诸如 “美国 中 产 阶 级 为 何不 再 富有 ”民主 党 和 共和 党 


应 对 气候 改变 的 分 疏 根 源 ”“ 网 络 中 立 背 后 的 互联 网 未 来 之 争 ” 这 样 结合 
了 热点 和 深度 的 选 题 。 它 们 在 还 原 复 杂 性 事件 的 起 因 、 结 采 和 和 意义 
时 ， 借 助 各 种 数据 和 动态 图 ， 加 深 读 者 对 新 闻 事 件 的 理解 。 


和 过 去 的 新 闻 报 首相 比 ， 这 类 新 兴 的 报道 方式 除了 阐述 “发 生 了 什 
么 ”之 外 ， 它 们 更 在 意 让 读者 了 解 “ 对 我 有 什么 影响 *”。 束 像 TheUpshot 
主编 Leonhardt 所 说 :“ 在 报道 了 经 济 利好 和 不 利 的 五 个 因素 后 ， 对 读者 
真正 有 用 的 就 是 要 告诉 他 们 一 一 哪个 因素 影响 范围 最 大 ? 经 济 环 境 到 
确 十 要 变 坏 还 十 变 好 ? ”对 媒体 而 言 ， 它 需要 做 的 是 利用 新 技术 工具 ， 
将 真正 有 助 于 解释 事件 的 数据 清晰 地 展示 给 读者 。 


今日 头条 ， 也 是 一 个 基于 数据 控 据 与 提炼 的 新 闻 客 户 端 。 今 日 头 
条 给 你 展现 的 是 一 个 清晰 的 、 极 简 的 、 个 性 化 的 、 有 生命 力 的 获取 资 
讯 的 工具 ， 但 它 的 实质 是 一 个 为 用 户 推 荐 信息 、 提 供 联 接 人 与 信息 的 
服务 的 产品 。 今 日 头条 的 核心 在 于 兴趣 算法 ， 你 喜欢 什么 ， 它 就 给 你 
推荐 什么 ， 你 爱 看 什么 ， 它 束 给 你 看 什么 ， 让 你 不 再 淹没 在 浩瀚 嗜 
杂 、 质量 参差 不 齐 的 讯息 当中 。 

上 述 可 以 看 到 ， 无 论 是 国外 的 Vox、FiveThirtyEight、TheUpshot， 
还 是 国内 的 今日 头条 ， 都 是 通过 对 小 数据 价值 的 提炼 ， 对 每 条 信息 进 
行 机 器 分 类 、 摘 要 抽取 、 文 本 建 模 (LDA) 主题 分 析 、 信 息 质 量 识别 
等 处 理 ， 最 终 实现 了 数据 到 价值 的 转化 。 


(五 ) 数据 筛选 如 何 才能 更 精确 化 


数据 的 收集 是 一 个 考验 执行 力 的 工作 ， 而 数据 的 往 选 考验 的 则 厦 
思维 和 分 析 能 力 。 在 实际 决策 中 我 们 遇 到 的 小 数据 往往 经 过 集群 后 再 
次 变 为 巨大 的 数据 量 ， 所 以 为 了 保证 我 们 的 决策 分 析 方 法 能 够 在 收集 
数据 的 文 持 下 得 以 实现 ， 我 们 必须 要 对 数据 进行 般 选 与 分 辨 ， 使 解决 


方法 简单 化 。 但 是 我 们 又 要 保证 筛选 出 来 的 数据 具有 代表 性 ， 使 得 到 
的 结果 更 加 准确 与 真实 。 

那么 如 何在 这 些 纷繁 复杂 的 信息 中 ， 辨 别 册 有效 和 有 用 的 信息 ， 
供 目 己 分 析 和 利用 呢 ? 毛泽东 提供 过 一 个 有 用 且 可 行 的 方法 : 分 清 政 
我 矛盾 和 人 民 内 部 矛盾 。 是 的 ， 掌 握 理 解 事物 的 方法 远 比 理解 事物 本 
喘 要 高 明 ! 掌握 数据 入 选 和 辨别 的 方法 远 比 收集 数据 更 有 意义 。 所 以 
下 面 两 个 方法 将 会 帮助 你 将 收集 到 的 数据 资料 更 加 精确 化 。 

(1) 角色 互 换 ， 逆 向 思维 。 这 是 数据 整理 和 筛选 的 关键 点 ， 也 和 是 
数据 的 质量 高 低 的 看 点 ， 如 何 设置 评定 返利 网 站 的 参数 可 以 通过 角色 
互 换 来 实现 ， 需 要 特别 注意 的 十 其 核心 束 是 一 份 数据 报表 ， 既 能 让 数 
据 使 用 者 看 懂 双 能 实现 简单 化 。 

(2) 简要 分 析 ， 锦 上 添 花 。 为 了 让 一 份 数据 汇总 表 更 加 完美 ， 需 
要 我 们 在 篇 选 出 的 数据 下 方 备注 位 要 说 明 ， 特 别 是 至 关 重 要 的 参数 ， 
这 样 束 更 加 方便 理解 。 

例如 ， 时 上 有 一 缸 彩 色 口 香 糖 ， 你 没 法 看 清 饶 于 里 的 情况 ， 你 却 
想 知道 每 种 颜色 的 口香糖 各 有 多 少 颗 。 此 时 我 们 融 要 换 一 种 思维 ， 为 
什么 不 去 先 看 一 看 钠 子 里 的 情况 呢 ? 所 以 接 下 来 你 把 一 饶 口 香 糖 统统 
倒 在 保 了 于 上 ， 一 颗 颗 数 过 去 ， 便 得 到 了 准确 的 结果 。 

但 是 现实 中 我 们 不 可 能 把 所 有 数据 都 分 析 一 过 ， 你 每 次 只 能 抓 一 
把 ， 然 后 基于 手 里 的 口香糖 去 推测 整个 缸 子 的 情况 。 这 时 候 ， 我 们 束 
要 把 所 抓 取 的 这 把 口香糖 的 数量 和 颜色 数据 记录 下 来 。 然 后 通过 这 种 
方式 ， 我 们 只 需要 几 次 的 抓 取 ， 融 可 以 通过 方程 式 或 建立 数据 模型 将 
问题 求解 出 来 。 

天 键 在 于 我 们 抓 取 数据 的 清晰 度 如 何 ， 这 一 把 抓 得 越 多 ， 佑 计 值 
忠 越 接近 整 炙 的 情况 ， 也 就 越 容 易 猜 测 ， 相 反 ， 如 采 只 能 抓 到 一 颖 口 
否 糖 ， 那 么 你 几乎 现 无 法 推测 镀 子 里 的 情况 。 


三 、 读 懂 小 数据 逻辑 


(一 ) 小 数据 逻辑 


“大 数据 ”这 个 “大 ” 字 ， 到 底 是 多 大 ? 如 果 说 这 个 “大 ” 字 是 一 个 形 
容 词 的 话 ， 那 是 不 是 还 有 “小 数据 半 中 数据 半 次 大 数据 ”.…… 呢 9? 其 实 
大 数据 这 个 词 的 出 现 ， 并 不 是 仅仅 用 来 形容 数据 很 大 (当然 ， 现 在 有 
各 种 V 来 解释 大 数据 ， 现 在 都 已 经 到 了 11 个 V 了 ) ， 下 面 我 们 引用 鲍 曼 
博士 在 《大 数据 主义 》 中 关于 大 数据 和 小 数据 的 比较 ， 以 帮 我 们 真正 
读 懂 小 数据 逻辑 。 
大 数据 和 小 数据 的 不 同 包 括 以 下 10 个 方面 : 目标 (Goals) 、 位 置 
(Location) 、 数 据 结构 和 内 容 (Data Structure and Content) 、 数据 准 
备 (Data Preparation ) 、 数 据 生命 周期 (Longevity) 、 衡 量 
(Measurements) 、 可 重复 性 (Reproducibility) 、 成 本 (Stakes) 
内 省 (Introspection) 和 分 析 (Analysis) ， 下面 ， 我 们 对 它们 逐一 进 
行 解释 。 

(1) 目标 。 大 数据 和 小 数据 本 号 存在 的 目标 是 不 一 样 的 。 小 数据 
通常 是 为 了 回答 特定 的 问题 而 存在 ， 或 者 是 为 了 满足 特定 的 目标 。 也 
就 是 说 ， 我 们 是 为 了 解决 特定 的 问题 才 去 收集 、 分 析 、 处 理 指 定 的 、 
相关 的 数据 ， 如 采 菜 些 数据 与 我 当前 的 目的 无 天 ， 那 么 我 束 不 会 去 管 
它 。 通 常 在 收集 这 些 数据 之 前 ， 基 本 上 都 对 数据 的 大 致 内 容 有 所 了 解 
了 ， 只 不 过 是 去 收集 具体 的 数据 信息 而 已 。 就 像 我 们 在 设计 数据 库 的 
时 候 ， 字 段 名 称 、 人 含义、 约束 条 件 ， 都 固定 了 ， 在 属性 填 入 之 前 ， 基 
本 上 已 经 知道 这 个 字段 里 面 大 致 是 什么 内 容 ， 只 不 过 以 后 是 填 入 具体 
信息 而 已 。 


但 是 大 数据 不 同 ， 大 数据 收集 的 时 候 只 是 去 考虑 一 个 整体 的 目 
标 ， 而 这 些 目标 可 是 很 灵活 的 ， 针 对 这 个 目标 ， 我 们 会 提出 各 种 各 样 
的 问题 ， 所 以 没有 人 可 以 完全 地 说 明 大 数据 资源 到 的 包含 了 些 什 么 内 
容 ， 因 为 一 切 可 能 都 是 没有 被 指定 的 。 

(2) 位 置 。 小 数据 ， 一般 都 是 存放 或 者 被 包含 在 一 个 机 构 中 ， 通 
常 存储 在 一 台 计 算 机 中 (或 者 是 一 个 集群 、 一 个 局 域 网 ) ， 有 时候 也 
存储 在 一 个 (或 者 多 个 ) 文件 以 及 一 个 数据 库 (或 者 数据 库 集群 ) 
= 

而 大 数据 通常 过 及 整个 电子 空间 ， 只 要 有 本 基 础 染 构 存在 的 地 
方 ， 都 有 可 能 作为 存放 位 置 ， 它 可 能 存放 在 地 球 的 任何 一 个 角落 。 


(3) 数据 结构 和 内 容 。 小 数据 通常 都 是 高 度 结构 化 的 数据 ， 数 据 
域 被 限制 在 一 个 单一 的 学 科 或 者 分 文学 科 中 。 这 些 数据 往往 来 目 统一 
的 形式 记录 的 、 一 个 有 序 的 电子 表格 中 。 

大 数据 就 必须 包含 各 种 非 结构 化 数据 (如 任意 的 文本 文档 、 图 
像 、 视 频 、 音 频 ， 甚 至 是 物理 实体 ) 。 这 些 资源 的 主题 可 以 跨越 多 个 
学 科 ， 并 在 这 些 资源 中 ， 有 各 种 以 URL 〈 统 一 资源 定位 符 ) 的 方式 关 
联 到 其 他 的 各 种 看 似 不 相关 的 大 数据 资源 。 

(4) 数据 准备 。 小 数据 在 很 多 情况 下 ， 是 由 数据 的 使 用 者 为 目 己 
的 目的 准备 的 数据 。 

大 数据 ， 有 许多 不 同 的 来 源 ， 可 能 经 过 了 许多 人 ， 准 备 数据 的 人 
基本 上 不 是 最 终 使 用 数据 的 人 。 

(5) 数据 生命 周期 。 在 小 数据 中 ， 当 相关 的 项 目 结束 时 ， 数 据 保 
留 的 时 间 很 有 限 〈 传 统 的 学 术 研 究 数据 的 寿命 通常 为 七 年 ) ， 然 后 就 
锌 丢弃 了 。 

在 大 数据 项 目 中 ， 数 据 通常 会 被 水 久 性 地 存储 。 在 理想 的 情况 
下 ， 存 储 在 大 数据 资源 中 的 原始 数据 被 吸收 到 另外 一 个 资源 中 ， 这 样 
它 的 生命 周期 才 宜 告 结束 。 许 多 大 数据 的 项 目 ， 部 会 延伸 到 未 来 和 过 


去 (包含 和 收集 大 量 的 传统 数据 ， 包 含 和 累积 各 种 前 瞻 性 和 回顾 性 的 
数据 ) 。 


(6) 衡量 。 小 数据 的 质量 和 结果 ， 可 以 用 一 组 经 过 试验 的 方案 来 
进行 测量 ， 也 束 是 说 小 数据 的 内 容 可 以 通过 标准 的 方法 来 解析 和 读 
取 ， 一般 来 说 ， 都 是 通过 一 种 标准 的 协议 来 进行 的 ， 也 可 以 通过 标准 
单位 来 进行 表示 。 

大 数据 中 ， 各 种 不 同类 型 的 数据 提供 了 各 种 不 同 的 电子 格式 ， 所 
以 也 要 用 不 同 的 协议 来 进行 解析 。 如 何 验 证 大 数据 的 质量 也 是 数据 管 
理 中 最 困难 的 任务 之 一 。 

(7) 可 重复 性 。 人 小 数据 项 目 中 ， 各 种 技术 或 者 思想 通常 是 可 以 重 
用 的 。 比 如 ， 关 于 数据 的 质量 检测 方式 、 数 据 的 重用 性 、 数 据 的 有 效 
性 验证 、 数 据 中 得 出 结论 ， 等 等 。 而 且 整 个 项 目 也 可 以 重复 ， 从 而 产 
生 痢 的 数据 集 。 


大 数据 项 目的 重用 性 很 少 有 可 行 的 。 在 大 多 数 情况 下 ， 人 们 都 希 
望 在 一 个 大 数据 中 出 现 的 错误 被 发 现 后 ， 能 够 被 标记 出 来 。 但 是 在 大 
数据 的 情况 下 ， 整 算 一 个 项 目 在 数据 中 发 现 了 错误 ， 也 没有 办 法 被 标 
记 出 来 ， 而 下 一 个 项 目 要 使 用 这 些 数 据 进行 分 析 ， 依 然 会 出 现 这 些 错 
误 。 


(8) 成 本 。 小 数据 项 目的 成 本 和 代价 是 有 限 的 ， 如 果 发 现 了 问 
题 ， 无 论 是 重新 局 动 项 目 还 是 放弃 ， 代 价 都 有 限 。 


但 是 大 数据 项 目的 成 本 和 代价 确实 相当 高 昂 。 大 数据 项 目的 失败 
可 能 导致 企业 破产 、 体 制 衣 演 和 大 规模 的 裁员 ， 并 且 所 有 资源 中 的 数 
据 都 可 能 突然 解体 。 比 如 ，2004 年 至 2010 年 ， 美 国 国 立 卫 生 研 究 院 成 
立 了 高 达 3.5 亿 美元 的 大 数据 项 目 “NCI 癌 症 生 物 信 息 网 格 ” (NCI 
Cancer Biomedical Informatics Grid) 。 专 家 委员 会 审阅 发 现 ， 尽 管 经 
过 数 百 名 人 研究 人 员 和 专家 的 努力 ， 项 目 已 经 完成 了 部 分 , 但 是 其 代价 
极为 高 昂 ， 之 后 只 能 被 暂停 ， 并 且 最 终 被 终止 。 


(9) 内 省 。 小 数据 的 各 个 数据 坐标 ， 都 是 用 数据 在 电子 表格 和 数 
据 库 中 的 行 和 列 来 定位 的 。 如 果 知 道行 和 列 ， 那 么 就 可 以 很 容易 地 寻 
找到 相应 的 所 有 数据 。 


在 大 数据 中 ， 除 非 数 据 的 组 织 经 过 精心 的 设计 ， 不 然 资 源 的 内 容 
和 组 织 都 会 让 人 觉得 高 深 莫 测 ， 甚 至 货源 管理 屡 本 喘 都 无 法 定位 精确 
的 数据 信息 。 而 对 于 数据 组 织 内 部 信息 的 完全 访问 方式 ， 可 以 通过 一 
种 称 之 为 “内 省 ”的 技术 来 实现 。 


(10) 分 析 。 在 小 数据 中 ， 大 多 数 情 况 下 ， 整 个 项 目 中 的 数据 ， 
都 可 以 一 次 性 全 部 参与 到 分 析 中 。 

但 是 在 大 数据 中 ， 除 了 少数 例外 ， 比 如 ， 使 用 超级 计算 机 ， 或 者 
在 多 台 计 算 机 上 同时 进行 ， 大 数据 通常 是 通过 分 布 式 的 方式 进行 分 析 
(如 使 用 Map Reduce) 。 这 些 数据 会 通过 提取 、 评 估 、 聚 合 、 归 一 
化 、 转 换 、 可 视 化 、 诠 释 等 不 同 的 方法 进行 分 析 。 


(二 ) 为 何 “ 聪 明 ” 算 法 反 误 事 ? 


对 于 大 多 数 管理 者 来 说 ， 做 预测 是 工作 的 一 部 分 : HR 决定 聘用 人 
选 ， 是 预测 谁 工 作 最 出 色 ; 营销 人 员 选 择 分 销 渠道 ， 是 预测 产品 在 哪 
里 最 好 卖 ， 风 险 投 资 人 决定 是 否 投资 某 家 初创 企业 ， 是 预测 它 能 和 否 成 
功 。 为 做 好 种 种 商业 预测 ， 越 来 越 多 的 企业 现在 求助 于 计算 机 算法 
一 一 这 种 技术 能 以 惊人 的 速度 完成 超大 规模 的 分 析 过 程 。 

虽然 算法 能 让 预测 更 准确 ， 但 也 会 带 来 风险 ， 尤 其 是 在 我 们 不 理 
解 这 些 算法 的 情况 下 。 诸 如 此 类 的 例子 不 胜 枚 举 。 

Netflix 为 了 更 精确 地 了 解 用 户 看 电影 的 口味 ， 曾 拿 出 100 万 美元 征 
集 内 容 推 荐 算法 ， 很 多 数据 科学 家 组 队 参 赛 。 然 而 ， 这 种 算法 只 在 用 
户 挑选 DVD 时 能 较为 准确 地 推荐 ， 随 着 Netflix 的 用 户 转 癌 在 线 电 影 ， 
其 偏好 与 算法 的 预测 结果 就 会 出 现 偏离 。 


另 一 个 例子 是 社交 退 体 。 现 在 很 多 社区 网 站 通过 算法 决定 推送 哪 
些 广告 和 链接 ， 如 采 设 计算 法 时 过 于 侧重 点 击 量 , “ 骆 点 击 ” 的 内 容 丈 
会 充 太 网站。 虽然 点 击 量 上 升 了 ， 但 整体 用 户 满意 度 可 能 会 直线 下 
降 。 

上 述 问 题 的 根源 通常 并 非 算 法 本 喘 有 漏洞 ， 而 是 对 算法 使 用 不 
当 。 为 避免 犯错 ， 管 理 者 需 首 完了 解 算 法 的 功能 和 局 限 ， 它 能 解决 哪 
些 问 题 ， 不 能 解决 哪些 问题 。 


(三 ) 小 数据 应 用 是 精细 化 运营 的 一 种 趋势 


目前 我 们 已 经 匹 入 了 数据 时 代 ， 企 业 在 运营 方式 上 相对 应 的 已 经 
发 生 了 改变 ， 它 们 正 从 最 初 的 粗放 式 运营 逐步 向 精细 化 运营 过 渡 ， 而 
小 数据 应 用 更 是 成 为 精细 化 运营 的 一 种 趋势 。 

一 方面 随 着 互联 网 、 媒 体 、 用 户 、 市 场 的 变化 ， 企 业 发 现 过 去 它 
们 所 做 的 粗放 式 运营 已 经 不 能 有 效 地 提升 效率 和 增加 企业 用 户 了 ， 所 
以 ， 一 些 企业 开始 找寻 新 的 运营 方式 ， 重 新 设 定 KPI 指标 ， 比 如 ， 逐 
渐 转 变 为 CPM (每 千 人 成 本 ) 化 的 精细 化 经 营 ， 通 过 这 种 小 数据 使 用 
方式 的 改变 来 提升 运营 的 效率 ， 使 企业 广告 投放 效率 尽 可 能 地 最 大 
化 。 


另 一 方面 对 企业 而 言 打 造 精细 化 运 各 的 好 处 在 于 可 以 对 目标 用 户 
群体 或 者 个 体 进行 特征 和 画像 的 退路 与 画像 ， 通 过 小 数据 分 析 帮 助 企 
业 分 析 用 户 在 某 个 时 间 段 内 容 的 特征 和 习惯 ， 最 后 让 企业 形成 一 种 根 
据 用 户 特 性 而 打造 的 专属 服务 。 

正 因 为 如 此 ， 企 业 运营 在 数据 时 代 ， 需 要 进行 精细 化 运营 才能 
好 地 从 管理 、 营 销 方 面 提升 用 户 的 服务 体验 ， 同 时 根据 差异 化 的 服务 
让 运营 更 加 精细 化 。 


让 我 们 看 一 个 关于 精细 化 运营 的 例子 ， 某 商城 为 了 更 好 地 提升 运 
营 效 率 ， 合 理 运用 了 小 数据 帮助 其 改善 运 宫 情况 。 首 先 该 商城 根据 每 
个 客户 的 目 身 属性 进行 用 户 属性 分 析 ， 有 效 地 进行 消费 者 洞察 方便 
企业 做 出 精准 用 户 画 像 ， 这 并 不 是 什么 所 请 的 大 数据 运用 ， 相 反 它 是 
将 个 体 小 数据 进行 量化 后 使 用 ， 然 后 根据 分 析出 来 的 用 户 属 性 进行 客 
群 的 划分 ， 找 到 用 户 的 价值 和 侦 好 等 属性 ， 再 把 用 户 和 不 同 品 牌 、 不 
同 品 类 的 产品 进行 差异 化 拼 配 ， 找 到 相关 性 (如 图 12-1 所 示 ) ; 最 后 
根据 这 些 做 客流 的 引导 ， 其 实 这 束 是 一 种 小 数据 的 运 香 手段。 

在 精细 化 运营 的 过 程 中 ， 该 商城 准确 地 找到 用 户 喜 好 和 兴趣 ， 然 
后 根据 所 得 结 采 进行 精细 化 运营 ， 提 升 了 企业 的 运营 效率 和 转化 率 。 


总 是 
1 


图 12-1 某 商 城 精细 化 运营 流程 图 


(四 ) 利用 小 数据 改善 散 客 旅游 者 的 旅游 体验 


小 数据 应 用 的 范围 非常 广泛 。 例 如 ， 在 旅游 业 中 ， 由 于 现代 社会 
经 济 的 不 断 发 展 ， 人 人 们 的 生活 水 平 渐渐 提高 ， 出 游 的 动机 越 来 越 强 
烈 ， 更 加 希望 去 追求 精神 和 心灵 上 的 愉悦 感 。 但 人 们 已 经 不 满足 于 现 


在 的 团队 旅游 ， 开 始 倾向 于 目 由 和 个 性 化 的 出 游 方 式 。 散 客 旅游 在 旅 
游 市 场 上 占 的 比重 越 来 越 大 ， 世 界 旅游 市 场 上 ， 散 客 旅游 已 经 成 为 主 
导 力 量 ， 我 国 的 旅游 业 也 在 由 传统 的 团队 旅游 问 散 客 旅 游 转变 。 散 客 
旅游 者 追求 个 性 化 ， 对 旅游 企业 与 旅游 景区 有 了 更 高 的 要 求 。 


小 数据 以 用 户 个 性 化 为 中 心 ， 能 够 对 用 户 相 关 信 息 进行 深度 细 
分 ， 对 用 户 服 务 市 场 、 对 象 和 内 容 的 定位 更 加 精确 。 在 旅游 业 中 ， 在 
散 客 开始 占据 旅游 市 场 主 导 地 位 的 情况 下 ， 小 数据 主要 十 以 散 客 旅游 
者 ， 作 为 数据 采集 、 处 理 、 分 析 和 决策 的 对 象 ， 小 数据 可 以 在 大 数据 
宏观 分 析 决 策 的 基础 上 ， 更 加 深入 、 更 加 细致 地 挖掘 游客 行为 特征 、 
旅游 需求 ， 为 散 客 旅游 者 提供 基于 小 数据 的 精准 个 性 化 旅游 推送 服 


务 。 
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目前 ， 国 内 的 旅游 企业 和 旅游 景区 已 纷纷 采用 基于 小 数据 的 散 客 
旅游 者 的 个 性 化 服务 决策 ， 它 们 通过 对 散 客 旅游 者 小 数据 的 采集 、 价 
值 提取 、 高 速 实时 计算 、 分 析 与 决策 、 决 策 结 采 的 可 视 化 表示 等 过 
程 ， 提 高 旅游 企业 和 旅游 景区 个 性 化 服务 模式 构建 和 服务 推送 的 有 效 
人 

从 小 数据 决策 流程 可 以 看 到 ， 人 小 数据 主要 先 通过 网 络 和 移动 终端 
等 进行 小 数据 的 采集 ， 然 后 进行 数据 噪声 过 滤 、 数 据 处 理 与 融合 、 数 
据 分 析 与 决策 、 散 客 旅游 者 个 性 化 服务 决策 方案 的 展示 ， 最 后 得 到 人 小 
数据 文 持 下 的 个 性 化 服务 的 提供 与 保障 。 

但 是 ， 小 数据 的 应 用 也 并 非 万 能 的 ， 它 与 大 数据 一 样 ， 同 样 需要 
我 们 进一步 增加 学 习 、 分 类 、 辨 析 能 力 ， 做 好 数据 可 造 性 的 验证 工 
作 。 


四 、 和 掌握 小 数据 的 知 莽 


吴 


未 


(一 ) 大 数据 与 小 数据 的 智 


古人 云 : “圣人 见 微 知 著 ， 睹 始 知 终 。” 道 家 的 一 部 重要 著作 《 淮 
南 子 : 说 山 训 》 中 说 :“ 以 小 明 大 ， 见 一 叶 落 而 知 岁 之 将 左 ， 睹 瓶 中 之 
水 而 知 天 下 之 寒 。* 意 思 是 说 ， 看 见 一 片 沙 叶 ， 就 知道 秋天 来 临 ; 看 到 
瓶 中 水 结 冰 ， 就 知道 天 气 的 寒冷 程度 ， 这 是 对 见 微 知 著 的 形象 比喻 。 

在 日 常生 活 中 ， 大 家 都 会 有 一 些 不 以 为 意 的 “小 症状 "和 “小 病 
征 "， 像 怕 冷 、 怕 热 、 头 尝 、 胃 口 不 好 、 打 吧 、 睡 觉 打 呼唤 、 疗 痒 、 局 
部 淋巴 结 肿 大 等 。 这 些 看 起 来 无 关 紧要 的 小 病 小 痛 很 容易 被 人 们 忽略 
为 一 时 的 身体 不 适 ， 尽 管 大 多 数 情况 下 确实 是 这 样 ， 但 是 这 些小 症状 
也 有 可 能 是 某 些 严重 疾病 的 征兆 ， 如 果 不 小 心 对 待 、 认 真 观察 ， 对 这 
些 危险 的 征 光 视而不见， 就 可 能 错过 疾病 的 最 佳 诊断 治疗 期 ， 造 成 严 
重 的 后 果 ， 后 悔 莫 及 。 只 有 认 清 “来 者 不 善 * 的 小 病痛 ， 及 时 进行 检查 
和 就 医 ， 才 能 加 免 耽 误 病情 而 造成 不 良 后 果 。 可 谓 小 事 非 小 ， 须 见 微 
知 著 。 

有 一 句 俗语 “小 时 偷 针 ， 大 时 偷 金 "， 也 叫 “ 三 岁 看 到 老 "， 是 说 从 
一 个 小 孩 的 言行 举止 就 可 以 看 到 他 长 大 后 的 品行 个 性 ， 若 小 孩 成 长 过 
程 中 出 现 一 些 不 好 的 习惯 ， 或 者 自控 能 力 较 低 的 不 良 行径 ， 如 小 偷 小 
措 、 抢 夺 别 人 玩具 占 为 已 有 等 ， 可 能 在 其 未 来 也 会 出 现 类 似 的 甚至 更 
严重 的 行为 。 这 句 俗语 目前 也 得 到 了 科学 家 的 证 实 。 

据悉 ， 有 调查 显示 ， 凡 是 被 检查 出 “自控 能 力 ” 低 于 同龄 孩子 的 3 岁 
儿童 ， 当 他 们 成 年 时 ， 一 般 在 32 岁 左右 的 时 候 ， 往 往 会 遇 到 健康 上 或 


者 经 济 上 的 各 种 问题 ， 甚 至 会 走 上 犯罪 的 歧途 。 专 家 还 强调 ， 这 些 问 
题 与 孩子 的 情商 、 家 性 背景 等 客观 因素 苋 然 晤 无 关系。 


研究 员 通 过 针对 调查 新 西 兰 出 生 于 1972~1973 年 的 1000 名 新 生 儿 童 
数据 后 了 解 到 ， 凡 是 被 记载 缺少 容忍 度 、 缺 少儿 力 以 及 达到 目标 的 持 
之 以 恒 的 态度 或 者 凡事 “做 事 不 经 过 脑子 ”的 儿童 ， 在 成 长 的 过 程 中 ， 
寺 别 是 到 年 龄 偏 大 的 上 时候， 会 遇 到 很 多 健康 上 的 问题 ， 比 如 ， 高 血 
压 、 体 重 过 腾 、 呼 吸 问题 以 及 性 传播 疾病 。 他 们 更 容易 受到 诱惑 ， 如 
香烟 、 酒 精 甚 至 毒品 等 ， 这 些 诱惑 往往 会 引诱 他 们 一 步 一 步 走 向 犯罪 
的 深渊 ， 调 查 显 示 ， 和 上 自控 能 力 低 的 儿童 在 日 后 处 理 经 济 上 会 有 问题 ， 
容易 偏离 方向 。 英 国 星 家 学 院 的 研究 员 泰 瑞 . 莫 菲 特 (Terrie Moffitt) 
博士 称 : “社会 赋予 了 儿童 在 自控 能 力 、 上 自我 管理 等 方面 的 需要 ， 这 些 
能 力 与 儿童 的 年 龄 无 关 。 小 时 候 怎么 样 ， 大 了 就 会 怎么 样 。 我 们 的 实 
验 首 次 证 明了 有 超 强 意 志 力 的 儿童 会 拥有 一 个 相对 比较 健康 和 富足 的 
成 年 时 期 的 理论 。” 


“以 小 见 大 ”就 是 从 个 别 来 表达 一 般 或 从 局 部 来 表达 全 体 ， 在 证 歌 
中 以 小 见 大 的 手法 非常 彰 见 。 如 “ 缩 龙 代 扩 交大 水 兴 混 交 滴 水 藏 海光 及 
幅 千 里 “以 一 当 十 ”一 点 红 现 无 边 春 ”“ 以 数 谨 而 统 万 象 ”一 粒 沙 里 见 世 
界 “ 半 搬 化 上 说 人 情 " 等 ， 都 是 在 十 行 百 字 内 表现 更 为 广阔 演 多 的 社会 
生活 ， 真 可 谓 “ 戴 着 镶 钱 的 舞蹈 "， 其 主意 和 难度 都 非 比 寻 常 。 再 如 ， 
佛教 中 的 “一 论 一 世界 ， 一 叶 一 车 提 ”， 与 诗歌 有 异曲同工 之 妙 ， 从 小 
处 观 大 处 ， 从 细微 观 世 界 。 


一 般 来 说 ， 对 于 大 的 现象 与 变化 ， 人 们 往往 是 能 够 注意 的 ;而 对 
于 小 的 现象 与 变化 ， 却 利 币 会 忽视 ， 这 也 许 正 是 需要 我 们 格外 关注 
的 。 因 此 《淮南 子 : 兵 略 训 》 中 特地 提醒 道 ,“ 下 至 介 鲜 ， 上 及 羽毛 ， 
条 修 叶 仁 ， 万 物 百 族 ， 由 本 至 林 ， 英 不 有 序 *”。 束 古 说 ， 下 到 介 虫 、 鲜 
虫 ， 上 到 鸿毛 、 羽 毛 ,， 像 干校 万 叶 一 样 ， 部 贯通 联系 着 万 物 百 族 。 从 
根本 到 末梢 ， 都 是 有 条 理 的 。 只 有 既 注 重大 的 方面 ， 又 不 忽视 小 的 方 
面 ， 才 能 使 目 己 立 于 不 败 之 地 。 


客观 世界 中 ， 事 物 间 存 在 着 千 丝 万 缕 的 联系 。 改 变 了 一 个 事物 ， 
必然 也 牵动 了 与 之 相关 联 的 事物 。 其 他 被 牵动 的 事物 ， 改 变 了 存在 的 
方式 ， 也 留 下 了 “蛛丝马迹 ”。 

“ 见 微 知 车”， 就 是 要 寻找 深 藏 在 “冰山 ?之 下 的 “蛛丝马迹 ”， 并 以 
此 发 现 事物 的 本 质 。 

在 获得 大 量 资讯 的 基础 上 ， 必 须要 对 这 些 资讯 进行 一 番 去 伪 存 真 
的 沛 选 ， 避 免税 假象 和 错 党 迷惑 了 视线 。 接 着 对 判断 确定 为 真实 的 资 
讯 ， 做 由 表 及 里 、 由 此 及 彼 、 由 明 及 暗 的 推理 ， 把 握 问题 的 实质 。 否 
则 也 束 难 以 达到 “ 见 微 知 看， 见 端 知 末 ”的 境界 。 

聪明 人 见 一 叶 可 以 知 秋 ， 愚 钝 者 往往 是 因 一 叶 而 障 目 ， 其 中 的 根 
本 区 别 束 在 于 是 否 具有 从 微小 事物 中 把 握 大 局 的 统 御 能 力 。 小 问题 可 
能 会 带 来 大 祸患 ， 小 变化 可 能 引起 大 事件 ， 如 末 你 能 从 事物 细微 处 完 
见 其 特性 和 全 有 狐 ， 在 其 处 于 朝 芽 时 期 束 能 测 知 其 将 来 的 发 展 趋 势 ， 整 
可 以 说 已 经 具备 一 种 生活 的 大 智慧 了 。 


(二 ) 星座 到 瓜 徘 不 靠 谱 


2000 多 年 前 希腊 的 天 文学 家 希 巴 克 斯 (Hipparchus ， 西 元 前 
190~120) 为 标示 太阳 在 黄道 上 观 行 的 位 置 ， 就 将 黄道 之 分 成 12 个 区 
段 ， 以 春分 点 为 0%"， 自 春分 点 〈 即 黄道 零度 ) 算 起 ， 每 隔 30° 为 一 宫 ， 
并 以 当时 各 宫 内 所 包含 的 主要 星座 来 俞 名 ， 依 次 为 : 白手 、 金 牛 、 双 
子 、 巨 蟹 、 狮 子 、 室 女 〈 处 女 ) 、 天 秤 、 天 蝎 、 人 马 〈 射 手 ) 、 摩 
痢 、 宝 瓶 水瓶) 、 双 鱼 ， 称 之 为 黄道 十 二 语 ， 总 计 为 12 个 星 群 。 在 
地 球 运转 到 每 个 等 份 〈 星 群 ) 时 所 出 生 的 人 ， 属 于 相应 的 星座 ， 按 占 
星 理论 来 讲 : 不 同 的 星座 的 人 性 格 、 心 理 及 天 赋 存 在 差异 。 


第 一 个 尝试 对 星座 进行 分 析 的 是 汉 斯 : 艾 森 克 (Hans Jiirgen 
Eysenck，1916 一 1997 年 ) 教授 ， 现 代 人 格 科学 理论 的 主要 贡献 者 。 他 


一 生 致 力 于 量化 人 性 中 的 某 些 因素 ， 对 于 星座 与 性 格 的 关系 ， 他 进行 
过 有 趣 的 实验 。 


艾 和 森 元 人 格调 查 表 是 著名 的 心理 学 量 表 ， 每 个 量 表 有 50 多 个 不 同 
的 搞 述 ， 接 受 调 查 者 需要 给 每 一 个 描述 选择 "是 ”或 者 “ 否 ”。 根 据 这 些 
答案 ， 能 够 分 析出 在 “内 癌 一 外 癌 ” 和 ?神经 质 ” 两 个 维度 的 人 格 特征 。 
如 果 根 据 占星 传 讽 ，12 个 星座 中 有 6 个 侦 外 回 星 座 和 6 个 侦 内 问 星 座 。 
外 向 星座 包括 : 昌平、 双子 、 狮 子 、 天 秤 、 射 手 、 水 瓶 。 而 内 回 星 座 
则 包括 : 金牛 、 巨蟹 、 处 女 、 天 蝎 、 摩 痢 、 双 鱼 。 


另外 ， 三 种 土 象 星座 的 人 金牛、 处 女 与 摩羯 ) 更 能 保持 情绪 稳 
定 和 心态 平和 ， 而 三 种 水 象 星座 的 人 《巨蟹 、 天 蝎 与 双鱼 ) 则 相对 更 
神经 质 一 些 ， 情 绪 和 心态 也 更 容易 出 现 波动 。 

那么 事实 真 的 如 此 吗 ? 艾 森 克 决定 做 一 个 心理 学 实验 。 在 被 很 多 
占星 学 家 拒绝 后 ， 艾 森 殉 和 英国 著名 的 占星 学 家 杰 夫 - 梅 奥 联 手 做 了 一 
个 人 格调 查 。 梅 奥 几 年 前 开办 了 一 个 占星 学 院 ， 有 巡 布 全 世界 范围 的 
学 生 。 他 们 从 中 选 了 2000 多 人 进行 了 调查 ， 要 求 这 些 人 提供 目 己 的 出 
生日 期 并且 完成 艾 森 殉 的 人 格 问卷 。 

结果 让 所 有 人 大 吃 一 惊 ! 这 些 人 的 性 格 特征 与 星座 的 性 格 描述 完 
全 一 致 ! 

星座 与 外 向 有 关 的 人 在 外 向 特 质 的 得 分 的 确 要 比 其 他 人 融 一 些 ; 
与 土 象 星座 的 人 相 比 ，3 个 水 象 星座 的 人 在 神经 质 上 的 得 分 也 明显 要 高 
出 一 截 。 占 星 学 期 刊 《现象 》 因 此 宣称 ， 这 些 发 现 * 可 能 是 本 世纪 占星 
学 上 最 为 重要 的 进展 ”。 

在 占星 学 界 一 片 欢 呼声 中 ， 艾 森 殉 本 人 却 开始 怀疑 ， 他 突然 意识 
到 目 己 的 样本 迁 得 有 问题 ， 他 选择 了 一 批 对 星座 笃信 不 疑 的 人 来 做 实 
验 。 这 批 人 相当 于 已 经 被 安装 了 一 个 关于 “星座 性 格 决定 论 ” 的 心智 模 
式 ， 所 以 在 他 们 的 世界 中 ， 星 座 和 性 格 就 是 相关 的 。 


有 了 这 个 想法 ， 艾 森 殉 做 了 下 一 个 实验 : 实验 的 对 象 是 1000 名 孩 
子 ， 他 们 几乎 不 可 能 昕 说 过 性 格 与 星座 之 间 的 关系 。 这 一 次 ,调查 结 
果 有 了 幅 覆 性 的 变化 ， 孩子 们 在 内 同一 外 同和 神经 质 两 个 特质 上 的 得 
分 跟 他 们 的 星座 完全 没有 任何 关联 。 


这 个 实验 结果 狠 狠 地 打击 了 占星 学 界 心理 学 家 ， 原 来 被 认为 是 “ 占 
星 学 的 代言 人 和 保护 神 *”， 却 突然 倒戈 一 击 。 对 此 ， 占 星 学 界 给 出 了 他 
们 目 己 的 解释 ， 这些 孩子 还 没有 成 熟 ， 还 没有 发 展 出 他 们 星座 赋予 的 
性 格 。 

针对 这 个 解释 ， 艾 森 克 做 了 第 三 次 实验 : 这 一 次 他 选择 的 调查 对 
象 是 成 年 人 。 他 们 对 占星 学 的 了 解 程度 深浅 不 一 。 调 查 发 现 ， 如 有 果 调 
查 对 象 很 消 楚 星座 对 性 格 有 何 影响 ， 他 们 的 问卷 结果 跟 占 星 学 传说 整 
非常 吻合 。 相 反 ， 如 果 调 查 对 象 对 占星 学 没有 太 多 了 解 ， 他 们 的 问卷 
结 打 束 跟 占星 学 传说 不 那么 一 致 了 。 

实验 进行 到 这 步 ， 结 论 已 相当 明确 : 人 们 会 因为 对 目 己 “星座 性 
格 ” 的 相信 ， 吏 慢 慢 发 展 成 那样 的 性 格 。 星 座 一 性 格 的 心智 模式 不 仅 让 
他 们 看 到 那样 的 世界 ， 也 让 他 们 相信 那 束 是 目 己 的 性 格 ， 人 然后 按照 屠 
样 的 性 格 来 生活 ， 最 后 真正 成 为 星座 描述 的 人 。 简 单 来 说 : 人 们 真 的 
会 变 成 目 己 觉得 “应 该 成 为 ?的 人 。 

这 个 案例 说 明 ， 通 过 2000 人 检验 得 出 的 数据 结论 并 不 一 定 比 通过 
1000 人 检验 得 出 的 结论 正确 ， 因 为 我 们 在 检验 数据 结论 的 同时 ， 往 往 
会 加 入 一 些 主观 因素 的 “小 数据 *”， 由 于 小 数据 的 加 入 ， 原 本 数据 的 预 
测 结果 束 会 出 现 不 一 样 的 变化 。 


(三 ) 21 点 游戏 的 启示 


把 数据 当 作 绝 对 真理 来 看 古 诱 人 的 ， 因 为 我 们 把 数值 和 事实 联系 
在 了 一 起 。 但 在 现实 情况 中 ， 往 往 大 部 分 数据 是 估算 的 ， 并 不 精确 。 


分 析 师 会 研究 一 个 样本 ， 并 据 此 预测 整体 的 情况 ， 但 是 这 样 的 预测 具 
有 不 确定 性 。 很 可 能 每 天 你 都 在 做 同样 的 事情 ， 你 会 基于 目 己 的 知识 
和 见闻 来 预测 ， 而 且 大 多 数 时 候 你 能 确定 预测 结果 是 正确 的 。 但 你 真 
的 全 部 正确 吗 ? 数据 往往 只 是 有 根据 的 推测 ， 即 便当 前 你 做 出 了 最 正 
确 的 选择 ， 并 不 意味 着 所 有 的 事实 都 会 按照 你 的 预测 进行 下 去 ， 最 终 
结果 你 还 是 有 可 能 输 的 。 


在 21 点 游戏 中 ， 有 一 名 庄家 和 一 名 玩家 ， 庄 家 给 每 个 人 发 两 张 牌 
(其 中 一 张 面 向 下 盖 住 ) ， 目 的 是 让 牌 面 总 和 尽 可 能 接近 21 点 ， 而 不 
能 超出 。 你 可 以 选择 继续 要 牌 ， 或 者 停牌 。 有 时 候 ， 你 可 以 双 倍 下 
注 ， 下 注 越 多 ， 顾 得 越 多 。 如 果 点 数 超出 21 点 ， 你 殉 输 了 。 如 采 没 超 
出 ， 轮 到 庄家 要 牌 或 停牌 时 ， 接 近 21 点 的 顾 。 


根据 游戏 的 设计 ， 庄 家 的 牌 是 后 手 ， 所 以 他 更 有 优势 。 但 是 每 当 
你 要 牌 或 者 停牌 的 时 候 ， 你 可 以 削弱 庄家 的 优势 。 规 则 的 设计 是 基于 
平均 的 情况 ， 但 每 一 个 玩 过 21 点 的 人 都 会 对 你 说 ， 每 手 牌 都 存在 着 不 
确定 性 。 例 如 ， 假 设 你 拿 了 一 张 5 和 一 张 6， 总 和 是 11 点 。 庄 家 的 明 牌 
是 6。 根 据 数据 推断 ， 你 再 要 一 张 牌 100% 不 会 爆 掉 ， 而 且 很 有 可 能 得 
到 21 点 ， 而 庄家 很 有 可 能 在 有 一 张 明 牌 是 6 的 情况 下 要 牌 直接 爆 掉 。 于 
是 正常 情况 下 你 选择 双 倍 下 注 ， 然 后 拿 到 一 张 9， 总 数 是 20 点 ， 情 况 很 
棒 。 

接 下 来 庄家 翻 开 他 的 暗 牌 ， 是 10， 总 点 数 是 16。 上 哎哟， 你 的 运气 
还 不 错 。 按 照 规 则 ， 庄 家 要 想 赢 你 必须 继续 要 牌 ， 而 且 有 35% 的 概率 
庄家 要 有 牌 会 保 掉 。 庄 家 只 有 要 到 一 张 5 的 情况 下 你 才 会 输 ， 而 此 时 你 手 
中 已 经 有 一 张 5 了 ， 他 要 到 5 的 概率 不 足 5%。 

结果 庄家 要 到 了 一 张 3， 总 数 19 点 ， 你 大 舒 一 口气 。 可 是 你 忘 了 ， 
庄家 还 没有 到 21 点 ， 你 们 可 以 继续 要 牌 。 你 距 21 点 只 差 1， 庄 家 距 21 点 
只 差 2， 在 这 种 情况 下 你 要 牌 爆 掉 的 概率 已 经 比 庄家 大 了 1 倍 。 

于 是 你 没有 要 牌 ， 总 数 还 是 20 点 。 你 现在 期 望 的 是 庄家 要 牌 后 有 
83% 的 概率 直接 爆 掉 。 结 果 ， 庄 家 要 到 了 一 张 2。 庄 家 总 点 数 21 点 。 你 


输 了 。 

如 果 你 没有 双 倍 下 注 ， 相 比 刚才 的 选择 ， 你 只 会 输 掉 一 半 的 钱 。 
但 古 相 比 最 正确 的 选择 ， 只 要 你 玩 了 这 局 游戏 ， 其 实 你 都 十 错误 的 。 
数字 看 上 去 是 具体 的 和 绝对 的 ， 但 是 佑 算 却 融 来 了 不 确定 性 。 而 在 庄 
家 做 手脚 的 情况 下 ， 一 切 数据 的 预测 都 将 没有 意义 


(四 ) 利用 小 数据 进行 数据 可 靠 性 验证 


随 痢 市 场 需求 的 牵引 和 要求 不 断 地 提高 ， 数 据 可 靠 性 验证 和 评价 
技术 也 在 探索 中 不 断 发 展 、 改 进 。 市 场 对 数据 可 靠 性 的 需求 越 来 越 
高 ， 而 高 可 靠 数据 的 验证 也 越 来 越 难 。 其 难点 在 于 : 


(1) 数据 密度 越 来 越 高 ， 对 可 靠 性 特征 的 把 握 难 度 大 。 
(2) 数据 更 新 迭代 越 来 越 快 ， 用 以 借鉴 的 可 靠 性 信息 少 。 
(3) 数据 获取 价格 和 试验 费用 越 来 越 贯 ， 成 本 上 不 允许 获取 大 样 


(4) 数据 使 用 周期 越 来 越 短 ， 时 间 上 不 允许 获取 大 样本 。 

基于 这 些 难点 ， 在 数据 可 靠 性 验证 中 ， 用 来 验证 可 靠 性 的 样本 并 
不 是 很 多 ， 而 市 场 对 可 靠 性 要 求 达到 的 指标 却 很 高 ， 这 就 更 充分 地 诉 
明 数 据 可 靠 性 验证 的 重要 性 。 而 在 这 种 情况 下 ， 我 们 也 可 以 利用 小 数 
据 思 维 去 提高 数据 可 靠 性 检 难 的 有 效 性 。 

一 是 我 们 可 以 在 整体 数据 中 加 入 更 多 的 干扰 ， 充 分 利用 不 断 加 入 
的 小 数据 去 测试 整体 数据 结 采 的 可 靠 性 。 

二 是 我 们 可 以 将 小 数据 进行 集群 ， 在 小 数据 样本 的 基础 上 拟 合 出 
更 大 的 数据 ， 帮 助 我 们 不 断 提 高 数据 检测 结 采 的 有 效 性 。 


三 是 我 们 可 以 将 小 数据 进行 逆向 使 用 ， 通 过 模拟 一 组 与 小 数据 完 
全 相反 或 者 完全 错 计 的 数据 来 检验 整体 模型 的 排 异性 。 

四 是 在 我 们 有 条 件 的 情况 下 可 以 将 小 数据 进一步 拆 分 ， 以 检验 整 
体 模型 结果 的 适 配 性 。 


五 、 成 为 小 数据 科学 家 


(一 ) 人 生 也 是 一 场 小 数据 的 积 素 


“数据 ”二 字 含 义 广 沁 ， 它 不 仅 指 阿拉 伯 数 子 ， 还 泛 指数 据 信 息 。 
数据 已 融入 我 们 的 生活 ， 也 改变 着 我 们 人 生 的 道路 。 

英国 BBC 公司 一 档 节 目 给 出 了 一 组 “人 生 数 据 ”: 我 们 在 100 罗 生日 
之 前 ， 会 流出 145 公 斤 的 唾液 ， 为 了 成 长 ， 我 们 要 人 花 3 年 半 的 时 间 来 吃 
东西 ， 会 排出 4 万 公斤 的 尿 液 ; 为 了 养活 目 己 及 家 人 ， 我 们 平均 要 人 花费 
8~10 年 的 时 间 坐 在 办 公 蝎 前 工作 ;我们 会 认识 关 不 多 2000 个 人 ， 选 择 
大 概 150 个 人 做 朋友 ; 除了 丹 在 床上 的 20 多 年 ， 需 要 伦 费 两 年 半 时 间 打 
电话 ，12 年 时 间 看 电视 ，12 年 时 间 讲 话 ， 还 要 留 两 周 时 间 品 和 芝 甜 密 的 
咖 。 


与 此 同时 ， 人 生 的 数据 也 在 不 断 地 积 索 ， 就 像 一 场 谈判 ， 即 使 我 
们 不 需要 与 别人 谈 ， 有 时 对 于 目 己 也 会 有 内 心 的 一 番 挣 扎 ， 所 以 每 个 
人 的 生活 都 是 在 不 断 的 谈判 中 度 过 的 。 在 谈判 时 ， 每 个 人 的 本 能 反应 
就 是 电 ， 尽 最 大 努力 让 目 己 局 ， 且 无 论 定 在 时 间 、 空 间 、 物 质 或 是 精 
神 层 面 ， 总 布 望 目 己 能 够 获得 胜利 。 但 是 时 间 、 次 源 都 是 有 限 的 ， 只 
有 在 一 定 的 时 间 内 利用 有 限 的 货源 达到 目 己 的 目标 ， 才 能 称 为 有 效 的 
谈判 。 因 此 在 每 次 谈判 中 ， 我 们 往往 都 需要 做 好 先前 阶段 的 准备 工 
作 ， 对 小 数据 进行 积 素 ,查阅 相关 信息 ， 掌 握 可 靠 翔 实 的 资料 ， 对 对 
方 的 情况 做 一 定 的 调查 。 有 了 时 我 们 又 会 因为 时 间 紧 近来 不 及 进行 周密 
调查 ， 而 会 尽 可 能 收集 有 关 谈 判 核 心 的 材料 ， 在 关键 问题 上 不 轻易 放 
弃 。 在 一 次 义 一 次 的 人 生 谈判 中 ， 我 们 人 人 生 中 的 小 数据 也 正 被 悄悄 地 
积 素 起 来 。 


那么 在 小 数据 被 一 点 一 点 收集 之 后 ， 我 们 如 何 发 挥 这 些 数据 的 作 
用 呢 ? 


(二 ) 经 验 并 非 越 多 越 好 


我 们 通常 认为 ， 经 验 应 该 古越 多 越 好 ， 一 个 有 经 验 的 人 忌 是 能 够 
在 很 多 事情 上 做 出 正确 的 判断 ， 因 为 经 验 使 然 。 但 事实 上 ， 我 们 发 
现 ， 有 时 候 经 验 越 多 ， 似 乎 越 容 易 计 人犯 一 些 低级 错误 。 

比如 ， 在 股票 市 场 中 ， 经 验 并 不 能 实现 所 有 预想 的 好 处 。 有 时 
候 ， 丰 富 经 验 所 市 来 的 好 处 却 被 一 些 经 济 劣 势 或 伤害 抵消 了 ， 而 且 这 
些 经 验 反 而 进一步 限制 了 我 们 去 解决 这 个 问题 ， 甚 至 出 现 一 些 比 新 手 
还 低级 的 错误 。 


什么 经 验 有 了 时 会 使 人 犯 低 级 错误 呢 ? 在 这 里 ， 我 们 应 该 将 其 分 为 
两 种 情况 来 看 : 一 种 是 信息 不 对 称 ， 另 一 种 则 是 逻辑 错误 。 


当 我 们 讨论 信息 的 不 对 称 时 ， 前 先 要 讲 的 束 古 经 答 。 上 壕 21 点 游 
戏 束 是 一 个 典型 的 信息 不 对 称 的 例子 ， 我 们 的 经 验 永 远 比 不 过 庄家 对 
底牌 的 了 解 。 经 验 是 对 过 去 的 度量 ， 但 不 是 所 有 经 验 信 息 的 质量 都 很 
好 。 在 经 验 的 数据 库 里 ， 肯 定 有 一 些 信息 是 正确 的 ， 有 一 些 是 错误 
的 。 当 经 验 中 混 有 很 多 噪声 干扰 时 ， 我 们 会 跟着 错误 的 经 验 做 出 判 

逻辑 错误 更 加 致 合 ， 将 一 种 看 似 正 确 但 经 过 检验 可 证 明 其 为 错误 
的 经 验 用 于 并 不 适宜 的 案例 上 ， 将 会 直接 影响 数据 预测 结果 的 正确 
I 

比如 ， 当 你 在 亚马逊 上 浏 谢 和 购物 时 ， 束 会 有 很 多 书 或 者 其 他 的 
商品 推荐 至 现在 你 面前 。 亚 马 进 没有 读 心 术 ， 但 是 它 会 利用 你 浏览 和 
购买 物品 的 倾 问 来 搜索 在 它 的 质料 中 其 他 有 类 似 喜 好 的 严 家 。 如 采 它 
定位 到 了 一 个 人 ， 它 束 会 把 那个 买 家 天 过 的 其 他 产品 推荐 给 你 ， 因 为 


它 假定 你 们 买 的 共同 的 产品 能 反映 出 你 们 有 共同 的 喜好 。 问 题 在 于 ， 
这 种 信息 推断 十 以 概率 为 基础 的 。 它 错误 地 把 个 人 和 特定 的 喜好 联结 
起 来 。 当 这 种 基于 个 人 资料 匹配 的 推断 用 于 实践 时 ， 比 如 ， 当 你 买 这 
个 产品 仅仅 是 为 别人 代 买 时 ， 这 种 错误 的 逻辑 推断 所 导致 的 结 末 融 是 
a 

因此 ， 无 论 我 们 多 么 相信 目 己 对 数据 预测 结果 的 准确 性 ， 仍 需 在 
每 次 实践 后 对 数据 及 其 可 靠 性 进行 重新 验证 。 


(三 ) 数据 预测 本 质 上 是 一 种 蝴蝶 效应 


现代 数据 之 索 杂 ， 任 何 一 次 数据 估算 都 不 可 能 完全 看 透 、 说 清 。 
同一 个 数据 被 很 多 人 运用 后 ， 很 多 情况 下 得 出 的 结论 也 都 是 各 执 己 
见 ， 观 点 也 千差万别 相去 其 远 。 即 便 是 同一 个 人 使 用 同一 次 数据 进行 
预测 ， 有 时 候 得 出 的 结果 和 做 出 的 分 析 都 能 目 相 矛盾 ， 这 几乎 成 了 一 
个 普 志 现象 。 某 种 意义 上 说 ， 现 代 的 数据 估算 ， 地 球 上 还 没有 一 个 人 


能 完全 弄 懂 | 


2010 年 ， 英 国 气象 局 (UK Meteorological Office) 科学 家 表示 ， 
过 去 10 年 气温 变化 的 速度 ， 较 20 世 纪 80 年 代 与 90 年 代 有 所 放 缓 。 和 气象 
局 气候 科学 主任 维 姬 : 浦 柏 (Vicky Pope) 坦言 : “ 变 暖 趋势 仍然 存在 ， 
但 速度 较 以 前 有 了 放 缓 。” 最 可 能 的 答案 是 目 然 变化 一 一 气候 的 随机 波 
动 ， 除 此 之 外 ， 太 阳 活 动 的 周期 性 减弱 、 正 迅速 工业 化 的 亚洲 国家 排 
放 的 巧 浮 颗 粒 污染 物 的 人 为 制冷 效 采 ， 也 许 起 到 了 一 定 的 作用 。 田 
外 ， 薄 柏 表示 , “我们 也 许 低估 了 真正 的 变 瞬 速度 。” 新 分 析 显 示 , 日 
趋 利 用 浮标 测量 的 海平 面 温 有 度 ， 需 要 问 上 修正 。 瑞 国 气象 局 表示 ， 在 
做 出 这 种 修正 后 ， 全 球 气温 在 过 去 10 年 上 升 了 0.08~0.16%C ， 长 期 变 暧 
趋势 是 每 10 年 0.16°C 。 


据 《 参 考 消 息 》 报 道 ， 英 国 气 象 局 说 ， 目 20 世 纪 70 年 代 以 来 ， 全 
球 气 温 上 升 了 0.16*C ， 但 在 过 去 10 年 里 ， 气 温 只 上 升 了 0.05°C。 


根据 哈 德 雷 气候 预测 研究 中 心 公 布 的 数据 显示 ， 自 20 世 纪 70 年 代 
末期 开始 ， 地 球 表面 温度 每 阳 10 年 上 升 0.16%C; 在 2000 年 至 2009 年 之 
间 ， 上 述 增 幅 降 至 0.05~0.13C ， 但 同期 的 CO2 排 放量 却 有 所 增加 。 目 
前 科学 家 对 于 上 述 变化 的 起 因 还 并 不 明确 ， 但 其 表示 大 目 然 的 变异 性 
可 能 是 气候 变化 的 因素 之 一 。 与 此 同时 ， 科 学 家 表示 平流 层 的 水 蒸气 
在 过 去 10 年 中 有 所 减少 也 可 能 是 导致 全 球 变 暖 “减速 ”的 诱因 ， 而 专家 
表示 另 一 可 能 原因 在 于 来 自 亚 洲 地 区 的 巧 浮 微粒 排放 量 有 所 增加 ， 空 
气 中 的 巧 浮 微粒 能 够 折射 太阳 光 并 对 地 球 产 生 一 定 的 冷却 作用 。 德 雷 
气候 预测 研究 中 心 的 科学 家 还 表示 尽管 目前 全 球 气候 变 暖 的 速率 稍微 
有 所 放 缓 ， 但 地 球 变 暖 仍 将 是 全 球 气候 变化 的 大 势 所 趋 。 

2009 年 ， 国 际 上 有 两 条 比较 公认 的 全 球 温 度 序列 : 一 条 是 英国 
Hadley 中 心 从 1850 年 以 来 的 观测 温度 序列 ， 另 一 条 束 是 曼 等 人 的 “ 湿 面 
条 ”温度 序列 。 钱 维 宏 研 究 组 用 观测 序列 做 了 分 析 ， 通 过 模型 截取 不 同 
年 代 的 数据 ， 他 们 得 出 结论 : 1850~2008 年 的 温度 长 期 趋势 是 每 百年 增 
温 0.44*C，1910~2008 年 每 百年 增 温 0.74*C，1976~2008 年 每 百年 增 温 
1.70*C ， 但 1998~2008 年 每 百年 降温 0.10°C。 


对 比 可 知 , “1976~2008 年 每 百年 增 暧 1.70*C” 和 “ 自 20 世 纪 70 年 代 
末期 开始 地 球 表面 温度 每 隔 10 年 上 升 0.16*C” 大 至 相同 。 但 是 ， 近 10 年 
的 变 暖 的 速度 却 有 四 种 不 同 的 数据 : 1998~2008 年 每 百年 降温 0.10°C; 
过 去 10 年 里 气温 只 上 升 了 0.05*C; 在 2000 年 至 2009 年 之 间 ， 上 述 增幅 
降 至 0.05~0.13°*C; 在 作出 人 工 修正 后 ， 全 球 气 温 在 过 去 10 年 上 升 了 
0.08~0.16°C 。 


四 种 数据 差距 太 大 ， 其 真实 性 和 可 靠 性 令 人 生 疑 。 当 然 ， 这 四 种 
数据 都 表明 一 个 明显 的 趋势 一 一 全 球 变 暖 。 但 遗憾 的 是 ， 上 述 结 论 被 
实测 数据 一 一 否定 ， 全 球 变 暖 权威 的 可 信和 度 又 变 得 发 发 可 和 危 。 


所 以 预测 模型 的 计算 结果 可 徘 吗 ? 西方 科学 家 已 经 多 次 修改 了 他 
们 的 预测 模型 ， 至 今 仍 未 得 到 实践 的 证 明 ， 相 反 ， 实 际 数据 一 次 又 一 
次 地 否定 了 他 们 的 预测 结果 。 

不 过 正 因为 现代 数据 的 复杂 性 ， 加 之 各 种 能 动因 素 的 左右 ， 甚 至 
某 个 消 妃 的 传播 、 某 个 情绪 的 破 延 ， 都 能 导致 相反 的 结果 ! 蝴蝶 效应 
大 家 都 昕 说 过 ， 落 在 湖面 的 一 片 叶 ， 人 花边 震颤 的 一 只 蝶 ， 都 有 可 能 市 
来 太平 洋 上 剧烈 的 风 芭 ,这 束 古 真相 ! 所 以 ， 从 某 种 意义 上 说 ， 人 类 
任何 一 个 数据 预测 活动 都 有 可 能 出 现 意 想不到 的 结果 ! 而 我 们 要 做 的 
只 能 是 宏观 上 的 理解 、 大 趋势 上 的 分 析 。 


(四 ) 人 人 都 可 以 成 为 一 名 出 色 的 “数据 科学 家 * 


小 数据 无 须 复杂 的 算法 、 昂 贵 的 硬件 设备 、 高 额 的 分 析 费 用 ， 任 
何 组 织 、 企 业 、 个 人 都 可 以 实现 小 数据 的 分 析 和 管理 。 如 采 能 够 学 会 
利用 小 数据 的 淤 在 价值 ， 那 么 可 以 劳 不 登 张 地 说 : 人 人 都 可 以 成 为 一 
名 出 色 的 “数据 科学 家 ”。 


对 于 企业 而 言 ， 利 用 小 数据 ， 我 们 可 以 绿 合 预 判 企 业 所 在 行业 发 
展 的 整体 情况 。 然 后 分 析 企 业 目 身 的 数据 信息 ， 可 以 发 现 目 己 的 不 足 
之 处 和 明显 优势 。 将 行业 的 整体 数据 和 企业 目 喘 数据 进行 对 比 ， 束 可 
以 帮助 企业 更 加 明确 目 喘 在 行业 中 的 欠缺 ， 并 及 时 去 弥补 ， 更 重要 的 
征 可 以 帮助 企业 获得 有 价值 的 数据 参考 ， 并 制定 符合 目 身 发 展 的 商业 
决策 。 

例如 ， 一 家 工业 涂料 制造 商 将 重点 放 在 深入 人 研究 单个 用 望 和 区 域 
的 差异 性 上 ， 以 给 产品 定价 ， 因 此 该 制造 商 放 弃 了 原 有 的 经 典 线性 回 
归 的 分 析 方 法 ， 建 立 了 稳定 的 价格 弹性 模型 。 通 过 利用 其 他 的 简单 分 
析 技 术 ， 该 公司 能 够 更 加 确定 具体 的 领域 来 进行 产品 销售 ， 从 而 制定 
了 合理 的 定价 和 服务 策略 。 该 企业 将 目光 转 同 了 基于 用 户 价值 大 小 来 


定价 的 方法 ， 在 很 大 程度 上 保证 了 最 有 价值 的 用 户 能 够 享受 到 最 高 级 
别 的 服务 。 这 种 基于 单个 用 户 进 行 数据 分 析 的 方法 ， 使 该 涂料 制造 商 
仅仅 在 一 个 地 区 的 一 个 业务 单元 实施 过 程 中 ， 其 销售 额 就 较 之 前 上 升 
了 49%。 


该 工业 涂料 制造 商 正 是 走 的 小 数据 分 析 的 道路 ， 通 过 深入 分 析 单 
个 用 户 的 数据 信息 ， 获 得 单个 用 户 的 价值 信息 ， 通 过 价值 的 大 小 来 为 
用 户 提供 不 同 级 别 的 服务 决策 。 因 此 ， 企 业 能 够 更 加 轻松 地 留 住 用 
户 ， 让 用 户 为 企业 创造 更 加 巨大 的 价值 回报 。 企 业 的 这 些 客观 收益 ， 
也 正 是 基于 小 数据 制定 丙 业 决策 所 市 来 的 结 采 。 
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